TruthfulQA: Đo lường cách các mô hình bắt chước sự dối trá của con người

Tóm tắt

• Tài khoản ChatGPT 4 với nhiều ưu đãi đặc biệt hấp dẫn 

Chúng tôi đề xuất một chuẩn mực để đo lường xem một mô hình ngôn ngữ có trung thực trong việc tạo ra câu trả lời cho các câu hỏi hay không. Chuẩn mực bao gồm 817 câu hỏi thuộc 38 danh mục, bao gồm sức khỏe, luật pháp, tài chính và chính trị. Chúng tôi đã tạo ra các câu hỏi mà một số con người sẽ trả lời sai do niềm tin sai lầm hoặc quan niệm sai lầm. Để hoạt động tốt, các mô hình phải tránh tạo ra các câu trả lời sai được học từ việc bắt chước văn bản của con người. Chúng tôi đã thử nghiệm GPT-3, GPT-Neo/J, GPT-2 và một mô hình dựa trên T5. Mô hình tốt nhất là trung thực trong 58% các câu hỏi, trong khi hiệu suất của con người là 94%. Các mô hình tạo ra nhiều câu trả lời sai bắt chước các quan niệm sai lầm phổ biến và có khả năng đánh lừa con người. Các mô hình lớn nhất thường là ít trung thực nhất. Điều này trái ngược với các tác vụ NLP khác, trong đó hiệu suất được cải thiện theo kích thước mô hình. Tuy nhiên, kết quả này là mong đợi nếu các câu trả lời sai được học từ phân phối đào tạo. Chúng tôi cho rằng việc mở rộng quy mô các mô hình một mình ít hứa hẹn hơn trong việc cải thiện tính trung thực so với việc tinh chỉnh bằng cách sử dụng các mục tiêu đào tạo khác ngoài việc bắt chước văn bản từ web.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ