Các mô hình ngôn ngữ là những người học ít lần

Tóm tắt

Công trình nghiên cứu gần đây đã chứng minh được những tiến bộ đáng kể trên nhiều tác vụ và chuẩn mực NLP bằng cách đào tạo trước trên một khối văn bản lớn, sau đó tinh chỉnh trên một tác vụ cụ thể. Mặc dù thường không phụ thuộc vào tác vụ trong kiến ​​trúc, phương pháp này vẫn yêu cầu tinh chỉnh các tập dữ liệu cụ thể cho tác vụ gồm hàng nghìn hoặc hàng chục nghìn ví dụ. Ngược lại, con người thường có thể thực hiện một tác vụ ngôn ngữ mới chỉ từ một vài ví dụ hoặc từ các hướng dẫn đơn giản - điều mà các hệ thống NLP hiện tại vẫn đang gặp khó khăn trong việc thực hiện. Ở đây, chúng tôi chỉ ra rằng việc mở rộng quy mô các mô hình ngôn ngữ cải thiện đáng kể hiệu suất không phụ thuộc vào tác vụ, hiệu suất ít lần, đôi khi thậm chí đạt đến khả năng cạnh tranh với các phương pháp tinh chỉnh tiên tiến trước đây. Cụ thể, chúng tôi đào tạo GPT-3, một mô hình ngôn ngữ tự hồi quy với 175 tỷ tham số, nhiều hơn 10 lần so với bất kỳ mô hình ngôn ngữ không thưa thớt nào trước đây và kiểm tra hiệu suất của nó trong cài đặt ít lần. Đối với tất cả các tác vụ, GPT-3 được áp dụng mà không cần bất kỳ bản cập nhật gradient hoặc tinh chỉnh nào, với các tác vụ và bản trình diễn ít lần được chỉ định hoàn toàn thông qua tương tác văn bản với mô hình. GPT-3 đạt hiệu suất cao trên nhiều tập dữ liệu NLP, bao gồm các tác vụ dịch thuật, trả lời câu hỏi và điền khuyết, cũng như một số tác vụ đòi hỏi lý luận tức thời hoặc thích ứng miền, chẳng hạn như sắp xếp lại các từ, sử dụng một từ mới trong câu hoặc thực hiện phép tính số học 3 chữ số. Đồng thời, chúng tôi cũng xác định một số tập dữ liệu mà khả năng học ít lần của GPT-3 vẫn gặp khó khăn, cũng như một số tập dữ liệu mà GPT-3 gặp phải các vấn đề về phương pháp liên quan đến đào tạo trên các tập đoàn web lớn. Cuối cùng, chúng tôi thấy rằng GPT-3 có thể tạo ra các mẫu bài báo mà người đánh giá gặp khó khăn khi phân biệt với các bài báo do con người viết. Chúng tôi thảo luận về tác động xã hội rộng hơn của phát hiện này và của GPT-3 nói chung.

Xem thêm: tài khoản ChatGPT Plus và tài khoản ChatGPT 4 chính hãng là gì?