Phương pháp tạo và tổng quát ngầm cho các mô hình dựa trên năng lượng

Chúng tôi đã đạt được tiến bộ hướng tới việc đào tạo ổn định và có thể mở rộng các mô hình dựa trên năng lượng(mở trong cửa sổ mới) (EBM) dẫn đến chất lượng mẫu tốt hơn và khả năng khái quát hóa hơn so với các mô hình hiện có. Việc tạo ra EBM tốn nhiều tính toán hơn để liên tục tinh chỉnh câu trả lời của nó và làm như vậy có thể tạo ra các mẫu cạnh tranh với  GAN (mở trong cửa sổ mới) ở nhiệt độ thấp, đồng thời cũng có chế độ bảo đảm phạm vi của  các mô hình dựa trên khả năng(mở trong cửa sổ mới). Chúng tôi hy vọng những phát hiện này sẽ thúc đẩy nghiên cứu sâu hơn về loại mô hình đầy hứa hẹn này.

• Tài khoản ChatGPT 4 TẠI ĐÂY với nhiều ưu đãi đặc biệt hấp dẫn trong ngày hôm nay!

Mô hình hóa tạo ra (mở trong cửa sổ mới) là nhiệm vụ quan sát dữ liệu, chẳng hạn như hình ảnh hoặc văn bản, và học cách mô hình hóa phân phối dữ liệu cơ bản. Hoàn thành nhiệm vụ này giúp các mô hình hiểu được các tính năng cấp cao trong dữ liệu và tổng hợp các ví dụ trông giống như dữ liệu thực. Các mô hình sinh có nhiều ứng dụng trong ngôn ngữ tự nhiên, robot và thị giác máy tính.

Các mô hình dựa trên năng lượng biểu diễn phân phối xác suất trên dữ liệu bằng cách gán một giá trị vô hướng xác suất không chuẩn hóa (hoặc "năng lượng") cho mỗi điểm dữ liệu đầu vào. Điều này cung cấp tính linh hoạt hữu ích cho mô hình hóa—bất kỳ mô hình tùy ý nào đưa ra một số thực cho một đầu vào đều có thể được sử dụng làm mô hình năng lượng. Tuy nhiên, khó khăn nằm ở việc lấy mẫu từ các mô hình này.

Để tạo mẫu từ EBM, chúng tôi sử dụng quy trình tinh chỉnh lặp lại dựa trên  động lực học Langevin (mở trong cửa sổ mới). Không chính thức, điều này liên quan đến việc thực hiện giảm dần độ dốc nhiễu trên hàm năng lượng để đạt được cấu hình năng lượng thấp (xem bài báo để biết thêm chi tiết)(mở trong cửa sổ mới)). Không giống như GAN (mở trong cửa sổ mới),  Các tiểu vương quốc Ả Rập thống nhất(mở trong cửa sổ mới)và  các mô hình dựa trên luồng (mở trong cửa sổ mới), cách tiếp cận này không yêu cầu mạng nơ-ron rõ ràng để tạo mẫu - mẫu được tạo ra một cách ngầm định. Sự kết hợp của EBM và tinh chỉnh lặp lại có những lợi ích sau:

+ Thời gian tính toán thích ứng . Chúng ta có thể chạy tinh chỉnh tuần tự trong thời gian dài để tạo ra các mẫu sắc nét, đa dạng hoặc trong thời gian ngắn cho các mẫu thô ít đa dạng hơn. Trong giới hạn thời gian vô hạn, quy trình này được  biết là(mở trong cửa sổ mới) tạo ra các mẫu thực từ mô hình năng lượng.

+ Không bị giới hạn bởi mạng máy phát . Trong cả VAE và mô hình dựa trên Flow, máy phát phải học bản đồ từ không gian liên tục đến không gian có thể bị ngắt kết nối chứa các chế độ dữ liệu khác nhau, điều này đòi hỏi dung lượng lớn và có thể không thể học được. Ngược lại, trong EBM, có thể dễ dàng học cách chỉ định năng lượng thấp ở các vùng không giao nhau.

+ Tính hợp thành tích hợp . Vì mỗi mô hình biểu diễn một phân phối xác suất không chuẩn hóa, các mô hình có thể được kết hợp tự nhiên thông qua  tích của các chuyên gia (mở trong cửa sổ mới) hoặc các mô hình phân cấp khác.

Chúng tôi thấy rằng các mô hình dựa trên năng lượng có thể tạo ra hình ảnh chất lượng cao về mặt định tính và định lượng, đặc biệt là khi chạy quá trình tinh chỉnh trong thời gian dài hơn tại thời điểm thử nghiệm. Bằng cách chạy tối ưu hóa lặp lại trên từng hình ảnh, chúng tôi có thể tự động hoàn thiện hình ảnh và biến đổi hình ảnh từ một lớp (như xe tải) sang lớp khác (như ếch).

Tính sáng tác là một trong  những thách thức chưa được giải quyết (mở trong cửa sổ mới) đang đối mặt với các hệ thống AI ngày nay và chúng tôi rất hào hứng về những gì các mô hình dựa trên năng lượng có thể làm ở đây. Nếu bạn hào hứng làm việc trên các mô hình dựa trên năng lượng, hãy cân nhắc  nộp đơn  vào OpenAI!

 

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ