Dạy các mô hình để diễn đạt sự không chắc chắn của chúng bằng lời nói

Tóm tắt

• Tài khoản ChatGPT 4 tại đây!

Chúng tôi chứng minh rằng mô hình GPT-3 có thể học cách thể hiện sự không chắc chắn về câu trả lời của chính nó bằng ngôn ngữ tự nhiên—mà không cần sử dụng logit mô hình. Khi đưa ra một câu hỏi, mô hình tạo ra cả câu trả lời và mức độ tin cậy (ví dụ: "90% tin cậy" hoặc "mức độ tin cậy cao"). Các mức này ánh xạ tới các xác suất được hiệu chuẩn tốt. Mô hình cũng duy trì hiệu chuẩn ở mức vừa phải khi dịch chuyển phân phối và nhạy cảm với sự không chắc chắn trong câu trả lời của chính nó, thay vì bắt chước các ví dụ của con người. Theo hiểu biết của chúng tôi, đây là lần đầu tiên một mô hình được chứng minh là có thể thể hiện sự không chắc chắn đã hiệu chuẩn về câu trả lời của chính nó bằng ngôn ngữ tự nhiên. Để kiểm tra hiệu chuẩn, chúng tôi giới thiệu bộ tác vụ CalibratedMath. Chúng tôi so sánh hiệu chuẩn của sự không chắc chắn được thể hiện bằng lời ("xác suất được diễn đạt bằng lời") với sự không chắc chắn được trích xuất từ ​​logit mô hình. Cả hai loại sự không chắc chắn đều có khả năng khái quát hóa hiệu chuẩn khi dịch chuyển phân phối. Chúng tôi cũng cung cấp bằng chứng cho thấy khả năng khái quát hóa hiệu chuẩn của GPT-3 phụ thuộc vào các biểu diễn tiềm ẩn được đào tạo trước có tương quan với sự không chắc chắn về nhận thức đối với các câu trả lời của nó.

Xem thêm: tài khoản ChatGPT Plus chính hãng là gì?