Mô hình hóa tạo ra với bộ biến đổi thưa thớt

Chúng tôi đã phát triển Sparse Transformer, một mạng nơ-ron sâu thiết lập kỷ lục mới trong việc dự đoán những gì sẽ xảy ra tiếp theo trong một chuỗi—cho dù là văn bản, hình ảnh hay âm thanh. Nó sử dụng cải tiến thuật toán của  cơ chế chú ý  để trích xuất các mẫu từ các chuỗi dài hơn 30 lần so với trước đây.

• Tài khoản ChatGPT 4 chính hãng giá rẻ với nhiều ưu đãi hấp dẫn! 

Một thách thức hiện tại trong nghiên cứu AI là mô hình hóa các mối quan hệ phụ thuộc tinh tế, tầm xa trong dữ liệu phức tạp như hình ảnh, video hoặc âm thanh. Sparse Transformer kết hợp một THE(NN)TRÊN​​N​)tái cấu trúc của THE(N2)TRÊN​​2) Máy biến áp (mở trong cửa sổ mới) cơ chế tự chú ý, cùng với một số cải tiến khác, để áp dụng trực tiếp vào các loại dữ liệu phong phú này. Trước đây, các mô hình được sử dụng trên các dữ liệu này được thiết kế riêng cho một miền hoặc khó mở rộng thành các chuỗi dài hơn vài nghìn phần tử. Ngược lại, mô hình của chúng tôi có thể mô hình hóa các chuỗi với hàng chục nghìn phần tử bằng cách sử dụng hàng trăm lớp, đạt được hiệu suất tiên tiến trên nhiều miền. Tại OpenAI, chúng tôi đang sử dụng nó để giúp chúng tôi xây dựng các hệ thống AI có khả năng hiểu thế giới tốt hơn.

Trong Transformers, mọi phần tử đầu ra đều được kết nối với mọi phần tử đầu vào và các trọng số giữa chúng được tính toán động dựa trên các tình huống, một quá trình được gọi là  sự chú ý . Mặc dù người ta tin rằng điều này cho phép Transformers linh hoạt hơn các mô hình có mẫu kết nối cố định, nhưng trên thực tế, nó đòi hỏi phải tạo ra một N×NN×N ma trận chú ý  cho mọi lớp và đầu chú ý, có thể tiêu tốn nhiều bộ nhớ khi áp dụng cho các kiểu dữ liệu có nhiều phần tử, như hình ảnh hoặc âm thanh thô.

Một cách để giảm thiểu điều này là tính toán lại ma trận chú ý từ  các điểm kiểm tra  trong quá trình truyền ngược, một kỹ thuật đã được thiết lập tốt trong học sâu để giảm mức sử dụng bộ nhớ với chi phí tính toán nhiều hơn. Khi thực hiện cho ma trận chú ý trong Transformers, điều này có nghĩa là chi phí bộ nhớ lớn nhất trở nên độc lập với số lớp, cho phép chúng ta đào tạo các mạng có độ sâu lớn hơn đáng kể so với trước đây. Trong thực tế, chúng tôi thấy rằng Transformers có độ sâu lên tới 128 lớp hoạt động tốt hơn các mạng nông hơn trong các tác vụ chuẩn như CIFAR-10.

Để đào tạo các mô hình này với độ sâu tăng lên, chúng tôi đã thực hiện một số điều chỉnh đối với thứ tự các hoạt động trong bộ biến đổi và sửa đổi sơ đồ khởi tạo. Bạn có thể xem đầy đủ thông tin chi tiết trong bài báo của chúng tôi.

Tuy nhiên, ngay cả việc tính toán một ma trận chú ý duy nhất cũng có thể trở nên không thực tế đối với các đầu vào rất lớn. Thay vào đó, chúng tôi sử dụng các mẫu chú ý thưa thớt, trong đó mỗi vị trí đầu ra chỉ tính toán trọng số từ một tập hợp con các vị trí đầu vào. Khi tập hợp con nhỏ so với toàn bộ tập hợp đầu vào (ví dụ: NN​​ các yếu tố thay vì N Ncác yếu tố), tính toán sự chú ý kết quả trở nên dễ xử lý ngay cả đối với các chuỗi rất dài, với độ phức tạp thuật toán là THE(NN)TRÊN​​N​) thay vì THE(N2)TRÊN​​2).

Để đánh giá tính khả thi của phương pháp tiếp cận, trước tiên chúng tôi hình dung các mẫu chú ý đã học được cho các Transformers sâu trên hình ảnh, phát hiện ra rằng nhiều mẫu cho thấy các mẫu thưa thớt có cấu trúc và có thể diễn giải được. Mỗi hình ảnh bên dưới cho thấy các pixel đầu vào nào (được tô sáng màu trắng) được một đầu chú ý nhất định chú ý để dự đoán giá trị tiếp theo trong hình ảnh. Khi các phần đầu vào tập trung vào các tập hợp con nhỏ và cho thấy mức độ đều đặn cao, lớp có thể thích ứng với sự thưa thớt. Một mẫu của chúng được hiển thị ở đây cho mô hình 128 lớp trên hình ảnh CIFAR-10

Trong khi nhiều lớp hiển thị cấu trúc thưa thớt, một số lớp hiển thị rõ ràng sự chú ý động trải dài trên toàn bộ hình ảnh. Để duy trì khả năng học các mẫu như vậy của mạng, chúng tôi đã triển khai phân tích hai chiều của ma trận chú ý, trong đó mạng có thể chú ý đến tất cả các vị trí thông qua hai bước chú ý thưa thớt.

 

Chúng tôi cũng tạo ra các mẫu hoàn toàn không điều kiện với nhiệt độ softmax chưa điều chỉnh là 1.0. Các mô hình này được đào tạo bằng cách sử dụng mục tiêu khả năng tối đa, được biết đến là bao phủ tất cả các chế độ của dữ liệu (bao gồm cả các chế độ có khả năng không tồn tại) thay vì tăng độ trung thực của một phần nhỏ hơn của dữ liệu. Lấy mẫu từ các mô hình này với nhiệt độ chưa điều chỉnh cho phép chúng ta thấy toàn bộ sự phân phối của các hình ảnh mà mô hình tin là tồn tại trên thế giới. Do đó, một số mẫu có thể xuất hiện lạ.

Tạo dạng sóng âm thanh thô

Sparse Transformers cũng có thể được điều chỉnh để tạo ra âm thanh thô thay vì hình ảnh chỉ bằng cách thay đổi vị trí nhúng. Khi học sâu mở rộng sang các kiểu dữ liệu mới, chúng tôi tin rằng việc dễ dàng chỉ định các độ lệch quy nạp với lớp mạng này sẽ là một công cụ hữu ích.

Mô hình này được đào tạo trên các clip nhạc cổ điển thô và sử dụng sự chú ý thưa thớt để tạo ra các chuỗi có độ dài 65.000. Điều này tương ứng với ~5 giây âm thanh thô và chúng tôi đã nối nhiều mẫu lại với nhau trong mỗi clip bên dưới.

Mã phát hành

Thông thường, việc triển khai sự chú ý thưa thớt sẽ liên quan đến việc cắt các ma trận truy vấn và khóa thành các khối, do đó để dễ dàng thử nghiệm, chúng tôi đã triển khai một bộ  hạt nhân thưa thớt  khối thực hiện hiệu quả các hoạt động này trên GPU. Chúng tôi mã nguồn mở các hạt nhân này và cung cấp các hàm chú ý thưa thớt ví dụ trong  kho lưu trữ này (mở trong cửa sổ mới).

Công việc tương lai và những hạn chế

+ Các mẫu chú ý thưa thớt mà chúng tôi giới thiệu chỉ là những bước đầu tiên theo hướng mô hình hóa hiệu quả các chuỗi dài. Chúng tôi cho rằng việc khám phá các mẫu và kết hợp khác nhau của sự thưa thớt là hữu ích và việc học các mẫu thưa thớt là một hướng nghiên cứu đặc biệt hứa hẹn cho thế hệ kiến ​​trúc mạng nơ-ron tiếp theo.

+ Ngay cả với những cải tiến mà chúng tôi mô tả ở trên, việc tạo chuỗi tự hồi quy vẫn có vẻ không thực tế đối với hình ảnh hoặc video có độ phân giải rất cao. Tuy nhiên, các hoạt động chú ý được tối ưu hóa mà chúng tôi đã giới thiệu có thể là các nguyên mẫu hữu ích để kết hợp với các phương pháp tiếp cận khác để mô hình hóa dữ liệu có chiều cao, như các phương pháp tiếp cận đa tỷ lệ.

Nếu bạn quan tâm đến việc phát triển năng lực AI và giúp thúc đẩy sứ mệnh đảm bảo AI mang lại lợi ích cho nhân loại, chúng tôi đang tuyển dụng !

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt trong ngày hôm nay