Tóm tắt sách với phản hồi của con người

Để triển khai an toàn trí tuệ nhân tạo mạnh mẽ, đa năng trong tương lai, chúng ta cần đảm bảo rằng các mô hình học máy hoạt động theo ý định của con người. Thách thức này được gọi là  vấn đề căn chỉnh .

Một giải pháp có thể mở rộng cho vấn đề căn chỉnh cần phải thực hiện trên các tác vụ mà con người khó hoặc mất nhiều thời gian để đánh giá đầu ra của mô hình. Để kiểm tra các kỹ thuật căn chỉnh có thể mở rộng, chúng tôi đã đào tạo một mô hình để tóm tắt toàn bộ sách, như được hiển thị trong các mẫu sau. Mô hình của chúng tôi hoạt động bằng cách đầu tiên tóm tắt các phần nhỏ của một cuốn sách, sau đó tóm tắt các phần tóm tắt đó thành bản tóm tắt cấp cao hơn, v.v.

• Trong tay tài khoản ChatGPT 4 chỉ với vài bước đơn giản!

Mô hình tốt nhất của chúng tôi được tinh chỉnh từ GPT-3 và tạo ra các bản tóm tắt hợp lý của toàn bộ sách, đôi khi thậm chí còn phù hợp với chất lượng trung bình của các bản tóm tắt do con người viết: nó đạt được xếp hạng 6/7 (tương tự như bản tóm tắt trung bình do con người viết) từ những người đã đọc sách 5% thời gian và xếp hạng 5/7 15% thời gian. Mô hình của chúng tôi cũng đạt được kết quả tiên tiến trên  tập dữ liệu BookSum để tóm tắt dài bằng một cuốn sách. Một mô hình trả lời câu hỏi không có cú đánh nào có thể sử dụng các bản tóm tắt của mô hình của chúng tôi để có được kết quả cạnh tranh trên  tập dữ liệu NarrativeQA để trả lời câu hỏi dài bằng sách. 

Hãy xem xét nhiệm vụ tóm tắt một đoạn văn bản. Các mô hình được đào tạo trước lớn không thực sự tốt trong việc tóm tắt . Trước đây, chúng tôi thấy rằng việc đào tạo một mô hình với  việc học tăng cường từ phản hồi của con người giúp căn chỉnh các bản tóm tắt mô hình với sở thích của con người về các bài đăng và bài viết ngắn. Nhưng việc đánh giá các bản tóm tắt của toàn bộ cuốn sách đòi hỏi rất nhiều nỗ lực để thực hiện trực tiếp vì con người sẽ cần phải đọc toàn bộ cuốn sách, mất nhiều giờ.

Để giải quyết vấn đề này, chúng tôi cũng sử dụng  phân tích nhiệm vụ đệ quy : chúng tôi chia nhỏ nhiệm vụ khó thành các nhiệm vụ dễ hơn theo thủ tục. Trong trường hợp này, chúng tôi chia nhỏ việc tóm tắt một đoạn văn bản dài thành tóm tắt một số đoạn ngắn hơn. So với quy trình đào tạo đầu cuối, phân tích nhiệm vụ đệ quy có những ưu điểm sau:

+ Phân tích cho phép con người đánh giá tóm tắt mô hình nhanh hơn bằng cách sử dụng tóm tắt các phần nhỏ hơn của cuốn sách thay vì đọc văn bản gốc.

+ Dễ dàng hơn để theo dõi quá trình viết tóm tắt. Ví dụ, bạn có thể theo dõi để tìm ra nơi nào trong văn bản gốc xảy ra một số sự kiện nhất định trong bản tóm tắt. Hãy tự mình xem trên trình khám phá tóm tắt của chúng tôi(mở trong cửa sổ mới)!

+ Phương pháp của chúng tôi có thể được sử dụng để tóm tắt các cuốn sách có độ dài không giới hạn, không bị hạn chế bởi độ dài ngữ cảnh của các mô hình biến đổi mà chúng tôi sử dụng.

Công trình này là một phần trong  nghiên cứu đang diễn ra của chúng tôi  về việc sắp xếp các hệ thống AI tiên tiến, đây là chìa khóa cho  sứ mệnh của chúng tôi.  Khi chúng tôi đào tạo các mô hình của mình để thực hiện các nhiệm vụ ngày càng phức tạp, việc đưa ra các đánh giá có hiểu biết về đầu ra của các mô hình sẽ ngày càng trở nên khó khăn hơn đối với con người. Điều này khiến việc phát hiện các vấn đề tinh vi trong đầu ra của mô hình có thể dẫn đến hậu quả tiêu cực khi các mô hình này được triển khai trở nên khó khăn hơn. Do đó, chúng tôi muốn khả năng đánh giá các mô hình của mình tăng lên khi khả năng của chúng tăng lên. 

Cách tiếp cận hiện tại của chúng tôi đối với vấn đề này là  trao quyền cho con người để đánh giá đầu ra của mô hình học máy bằng cách sử dụng sự hỗ trợ từ các mô hình khác. Trong trường hợp này, để đánh giá tóm tắt sách, chúng tôi trao quyền cho con người với các tóm tắt chương riêng lẻ do mô hình của chúng tôi viết, giúp họ tiết kiệm thời gian khi đánh giá các tóm tắt này so với việc đọc văn bản nguồn. Tiến trình tóm tắt sách của chúng tôi là công trình thực nghiệm quy mô lớn đầu tiên về các kỹ thuật căn chỉnh tỷ lệ.

Trong tương lai, chúng tôi đang nghiên cứu những cách tốt hơn để hỗ trợ con người đánh giá hành vi của mô hình, với mục tiêu tìm ra các kỹ thuật phù hợp với trí tuệ nhân tạo nói chung.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi hấp dẫn cho tất cả mọi người!