Mạng chuột

Tạo nhạc là một miền hữu ích để thử nghiệm Sparse Transformer vì nó nằm ở giữa văn bản và hình ảnh. Nó có cấu trúc mã thông báo lưu động của văn bản (trong hình ảnh, bạn có thể nhìn lại N mã thông báo và tìm hàng ở trên, trong khi trong âm nhạc không có số cố định để nhìn lại nhịp trước đó). Tuy nhiên, chúng ta có thể dễ dàng nghe thấy liệu mô hình có nắm bắt được cấu trúc dài hạn theo thứ tự từ hàng trăm đến hàng nghìn mã thông báo hay không. Rõ ràng hơn nhiều nếu một mô hình âm nhạc làm hỏng cấu trúc bằng cách thay đổi nhịp điệu, theo cách mà không rõ ràng hơn nếu một mô hình văn bản đi theo một tiếp tuyến ngắn.

Chúng tôi đã thu thập dữ liệu đào tạo cho MuseNet từ nhiều nguồn khác nhau.  ClassicalArchives (mở trong cửa sổ mới) và  BitMidi (mở trong cửa sổ mới) đã tặng bộ sưu tập lớn các tệp MIDI của họ cho dự án này và chúng tôi cũng tìm thấy một số bộ sưu tập trực tuyến, bao gồm các phong cách nhạc jazz, nhạc pop, nhạc Châu Phi, nhạc Ấn Độ và nhạc Ả Rập. Ngoài ra, chúng tôi đã sử dụng  tập dữ liệu MAESTRO (mở trong cửa sổ mới).

Bộ biến đổi được đào tạo trên dữ liệu tuần tự: với một tập hợp các nốt nhạc, chúng tôi yêu cầu nó dự đoán nốt nhạc tiếp theo. Chúng tôi đã thử nghiệm một số cách khác nhau để mã hóa các tệp MIDI thành các mã thông báo phù hợp cho nhiệm vụ này. Đầu tiên, một phương pháp tiếp cận theo từng hợp âm coi mọi tổ hợp nốt nhạc phát ra cùng một lúc là một "hợp âm" riêng lẻ và gán một mã thông báo cho mỗi hợp âm. Thứ hai, chúng tôi đã thử cô đọng các mẫu nhạc bằng cách chỉ tập trung vào phần đầu của các nốt nhạc và thử nén thêm bằng cách sử dụng một lược đồ mã hóa cặp byte.

Chúng tôi cũng đã thử hai phương pháp khác nhau để đánh dấu thời gian trôi qua: hoặc là các token được chia tỷ lệ theo nhịp độ của bản nhạc (để các token đại diện cho một nhịp nhạc hoặc một phần của nhịp), hoặc các token đánh dấu thời gian tuyệt đối tính bằng giây. Chúng tôi đã đi đến một mã hóa kết hợp tính biểu cảm với tính cô đọng: kết hợp thông tin về cao độ, âm lượng và nhạc cụ thành một token duy nhất.

Trong quá trình đào tạo, chúng tôi:

+ Chuyển giọng các nốt nhạc bằng cách tăng và giảm cao độ (trong quá trình đào tạo sau này, chúng tôi sẽ giảm lượng chuyển giọng để các thế hệ nhạc cụ vẫn nằm trong phạm vi của từng nhạc cụ).

+ Tăng âm lượng bằng cách tăng hoặc giảm âm lượng tổng thể của các mẫu khác nhau.

+ Tăng thời gian (khi sử dụng mã hóa thời gian tuyệt đối tính bằng giây), làm chậm hoặc tăng tốc các đoạn nhạc một cách hiệu quả.

+ Sử dụng  hỗn hợp (mở trong cửa sổ mới) trên không gian nhúng mã thông báo

Chúng tôi cũng tạo ra một nhà phê bình nội bộ: mô hình được yêu cầu trong thời gian đào tạo để dự đoán liệu một mẫu nhất định có thực sự từ tập dữ liệu hay là một trong những thế hệ trước của chính mô hình. Điểm số này được sử dụng để chọn mẫu tại thời điểm tạo.

Chúng tôi đã thêm một số loại nhúng khác nhau để cung cấp cho mô hình nhiều ngữ cảnh cấu trúc hơn. Ngoài các nhúng vị trí tiêu chuẩn, chúng tôi đã thêm một nhúng đã học theo dõi sự trôi qua của thời gian trong một mẫu nhất định. Theo cách này, tất cả các nốt nhạc phát ra cùng một lúc đều được nhúng thời gian giống nhau. Sau đó, chúng tôi thêm một nhúng cho mỗi nốt trong một hợp âm (điều này mô phỏng sự chú ý tương đối, vì mô hình sẽ dễ dàng học được rằng nốt 4 cần nhìn lại nốt 3 hoặc nốt 4 của hợp âm trước đó). Cuối cùng, chúng tôi thêm hai nhúng cấu trúc cho mô hình biết vị trí của một mẫu nhạc nhất định trong bản nhạc lớn hơn. Một nhúng chia bản nhạc lớn hơn thành 128 phần, trong khi mã hóa thứ hai là đếm ngược từ 127 đến 0 khi mô hình tiến gần đến mã thông báo (kết thúc).

Chúng tôi rất mong được nghe những gì mọi người sáng tạo! Nếu bạn tạo ra một tác phẩm mà bạn thích, bạn có thể tải nó lên một dịch vụ miễn phí như  Instaudio (mở trong cửa sổ mới) và sau đó gửi cho chúng tôi liên kết qua tweet (bản demo MuseNet có nút tweet để hỗ trợ việc này).

Nếu bạn quan tâm đến việc tìm hiểu thêm về công việc âm nhạc của OpenAI, hãy cân nhắc  nộp đơn xin  gia nhập nhóm của chúng tôi. Vui lòng  gửi email cho chúng tôi  với các đề xuất cho bản demo MuseNet. Chúng tôi cũng rất muốn nghe ý kiến ​​của bạn nếu bạn quan tâm đến việc sáng tác với MuseNet chuyên sâu hơn hoặc nếu bạn có tệp MIDI muốn thêm vào bộ đào tạo.

MuseNet đã tổ chức một buổi hòa nhạc thử nghiệm vào ngày 25 tháng 4 năm 2019, được phát trực tiếp trên kênh Twitch của OpenAI , trong đó chưa có con người nào (kể cả chúng tôi) từng nghe các tác phẩm này trước đó.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ