Trò chơi Prover-Verifier cải thiện khả năng đọc hiểu của đầu ra mô hình ngôn ngữ

Để cải thiện khả năng đọc, chúng tôi tối ưu hóa chuỗi suy nghĩ về các bài toán ở trường tiểu học để có thể xác minh được bằng các mô hình yếu hơn và nghiên cứu xem điều này có khiến chúng dễ đọc hơn đối với con người hay không. Quy trình đào tạo này được lấy cảm hứng từ Trò chơi Prover-Verifier(mở trong cửa sổ mới), một khuôn khổ lý thuyết trò chơi để khuyến khích các tác nhân học tập giải quyết các vấn đề quyết định theo cách có thể xác minh được. Phương pháp của chúng tôi đạt được một nửa hiệu suất tăng cường được thấy khi chỉ tối ưu hóa cho tính đúng đắn của câu trả lời, trong khi vẫn duy trì khả năng của người đánh giá để đánh giá chính xác các giải pháp. Chúng tôi tin rằng việc tiếp tục thu hẹp khoảng cách hiệu suất giữa các mô hình dễ đọc và có khả năng là một mục tiêu quan trọng cho nghiên cứu căn chỉnh trong tương lai.

Để khuyến khích một mô hình mạnh, trình chứng minh , tạo ra văn bản dễ đọc đối với con người, chúng tôi sử dụng một lược đồ đào tạo trong đó chúng tôi yêu cầu mô hình mạnh tạo ra các giải pháp mà một mô hình yếu hơn nhiều, trình xác minh , có thể dễ dàng xác minh. Cụ thể, chúng tôi sử dụng các mô hình lớn và nhỏ từ họ GPT-4 với sự khác biệt ~3 cấp độ trong tính toán tiền đào tạo, đã trải qua một lượng nhỏ đào tạo có giám sát về các phép tính toán do con người viết, nhưng không có quá trình đào tạo hậu đào tạo mở rộng.

Đầu tiên, chúng tôi tạo ra nhiều giải pháp cho các bài toán từ mô hình prover, trong đó một số giải pháp này không chính xác do lỗi tự nhiên xảy ra từ mô hình prover. Sau đó, chúng tôi luân phiên nhiều vòng giữa hai giai đoạn:

• Đào tạo trình xác minh. Chúng tôi đào tạo mô hình xác minh yếu để dự đoán tính đúng đắn của các giải pháp do trình chứng minh tạo ra.

• Đào tạo Prover. Chúng tôi hướng dẫn mô hình Prover mạnh mẽ đóng vai trò "hữu ích" hoặc "lén lút". 

  • Với vai trò hữu ích, chúng tôi sẽ thưởng cho những giải pháp đúng được người xác minh đánh giá cao. 

  • Trong vai trò lén lút, chúng tôi thay vào đó thưởng cho các giải pháp sai nhưng được người xác minh đánh giá cao.

Chúng tôi thấy rằng ban đầu, sneaky prover có thể dễ dàng đưa ra các giải pháp không chính xác để thuyết phục người xác minh. Tuy nhiên, vì chúng tôi thêm các giải pháp không chính xác này vào giai đoạn tiếp theo của quá trình đào tạo người xác minh, cùng một khai thác không còn thuyết phục trong vòng tiếp theo và người chứng minh buộc phải khám phá các chiến lược khác nhau trong mỗi vòng. Quá trình đào tạo kết thúc khi sneaky prover không còn có thể đưa ra các giải pháp không chính xác để thuyết phục người xác minh.

• Một mô hình chỉ có sự điều chỉnh có giám sát đối với các dẫn xuất do con người viết đạt được độ dễ đọc cao nhưng độ chính xác lại kém.

• Việc tối ưu hóa chỉ nhằm mục đích chính xác sẽ mang lại độ chính xác cao nhưng khả năng đọc lại kém.

• Phương pháp trò chơi kiểm tra của chúng tôi cân bằng cả hai, duy trì khả năng đọc cao với độ chính xác vừa phải.

Ba mô hình hữu ích:

• Trình xác minh mạnh mẽ : Phân biệt hiệu quả các giải pháp đúng và sai, ngay cả khi giải pháp được thiết kế để gây hiểu lầm.

• Trình chứng minh hữu ích : Tạo ra các giải pháp dễ hiểu đối với con người, giúp giảm thiểu lỗi của người đánh giá.

• Sneaky Prover : Đưa ra các giải pháp tinh vi, không chính xác, ban đầu gây nhầm lẫn cho người đánh giá, nhưng lại làm nổi bật các lĩnh vực cần cải thiện mô hình hơn nữa.

Khi các mô hình ngôn ngữ lớn (LLM) ngày càng được sử dụng nhiều hơn trong các lĩnh vực quan trọng và các ứng dụng phức tạp, việc biết liệu đầu ra của chúng có đáng tin cậy hay không trở nên cần thiết. Bằng cách yêu cầu các mô hình đưa ra các biện minh rõ ràng và có thể xác minh được, chúng ta có thể tăng cường sự tin cậy vào đầu ra của chúng.

Một lợi thế đáng kể của phương pháp luận của chúng tôi là nó làm giảm sự phụ thuộc vào các cuộc biểu tình hoặc phán đoán của con người về khả năng đọc được. Tính tự chủ này đặc biệt liên quan đến sự liên kết của các hệ thống AI siêu thông minh trong tương lai, trong đó mục tiêu là liên kết đáng tin cậy các hệ thống AI với các giá trị và kỳ vọng của con người mà không cần sự giám sát trực tiếp của con người.

Mặc dù công trình này chỉ thử nghiệm trên một tập dữ liệu và vẫn cần nhãn dữ liệu thực tế, chúng tôi hy vọng rằng các phương pháp luận như vậy sẽ đóng vai trò quan trọng trong việc phát triển các hệ thống AI có đầu ra không chỉ chính xác mà còn có thể xác minh một cách minh bạch, do đó tăng cường sự tin cậy và an toàn trong các ứng dụng thực tế của chúng.

Xem thêm: mua tài khoản Chat GPT Plus chính hãng giá rẻ duy nhất ngày hôm nay