Tổng quát yếu-mạnh

Chúng ta có thể cải thiện đáng kể khả năng khái quát hóa trong nhiều cài đặt. Chúng ta sử dụng một phương pháp đơn giản khuyến khích mô hình mạnh tự tin hơn—bao gồm cả việc tự tin không đồng ý với giám sát viên yếu nếu cần. Khi chúng ta giám sát GPT-4 bằng mô hình cấp GPT-2 sử dụng phương pháp này trên các tác vụ NLP, mô hình kết quả thường hoạt động ở đâu đó giữa GPT-3 và GPT-3.5. Chúng ta có thể khôi phục phần lớn khả năng của GPT-4 chỉ với sự giám sát yếu hơn nhiều.

Phương pháp này là bằng chứng về khái niệm với những hạn chế quan trọng; ví dụ, nó vẫn không hoạt động trên dữ liệu tùy chọn ChatGPT. Tuy nhiên, chúng tôi cũng tìm thấy dấu hiệu của sự sống với các phương pháp tiếp cận khác, chẳng hạn như dừng sớm tối ưu và khởi động từ các mô hình nhỏ đến trung bình đến lớn.

Nhìn chung, kết quả của chúng tôi cho thấy rằng sự giám sát ngây thơ của con người—chẳng hạn như học tăng cường từ phản hồi của con người (RLHF)—có thể không mở rộng được cho các mô hình siêu phàm nếu không có thêm công trình nghiên cứu, nhưng có thể cải thiện đáng kể khả năng khái quát hóa từ yếu sang mạnh.

Vẫn còn những sự khác biệt quan trọng giữa thiết lập thực nghiệm hiện tại của chúng ta và vấn đề cuối cùng của việc sắp xếp các mô hình siêu phàm. Ví dụ, các mô hình tương lai có thể dễ dàng bắt chước các lỗi yếu của con người hơn là các mô hình mạnh hiện tại bắt chước các lỗi yếu của mô hình hiện tại, điều này có thể khiến việc khái quát hóa trở nên khó khăn hơn trong tương lai. 

Tuy nhiên, chúng tôi tin rằng thiết lập của chúng tôi nắm bắt được một số khó khăn chính trong việc sắp xếp các mô hình siêu phàm trong tương lai, cho phép chúng tôi bắt đầu đạt được tiến bộ thực nghiệm về vấn đề này ngay hôm nay. Có nhiều hướng triển vọng cho công việc trong tương lai, bao gồm sửa chữa các điểm không tương tự trong thiết lập của chúng tôi, phát triển các phương pháp có khả năng mở rộng tốt hơn và thúc đẩy sự hiểu biết khoa học của chúng tôi về thời điểm và cách chúng tôi nên mong đợi sự khái quát hóa yếu-đến-mạnh tốt.

Chúng tôi tin rằng đây là một cơ hội thú vị cho cộng đồng nghiên cứu ML để đạt được tiến bộ trong việc liên kết. Để thúc đẩy nhiều nghiên cứu hơn trong lĩnh vực này,

+ Chúng tôi đang phát hành mã nguồn mở để giúp bạn dễ dàng bắt đầu các thí nghiệm khái quát hóa từ yếu đến mạnh ngay hôm nay.

+ Chúng tôi đang triển khai chương trình tài trợ trị giá 10 triệu đô la cho sinh viên sau đại học, học giả và các nhà nghiên cứu khác để làm việc về sự liên kết AI siêu phàm nói chung. Chúng tôi đặc biệt vui mừng được hỗ trợ nghiên cứu liên quan đến khái quát hóa từ yếu đến mạnh.

Việc tìm ra cách sắp xếp các hệ thống AI siêu phàm trong tương lai để an toàn chưa bao giờ quan trọng hơn thế và giờ đây dễ dàng hơn bao giờ hết để đạt được tiến bộ thực nghiệm về vấn đề này. Chúng tôi rất vui mừng khi thấy các nhà nghiên cứu khám phá ra những đột phá nào.