GPT-2: theo dõi 6 tháng

Chúng tôi sẽ phát hành mô hình ngôn ngữ GPT-2 với 774 triệu tham số sau khi phát hành  mô hình 124M nhỏ của chúng tôi  vào tháng 2, phát hành theo giai đoạn  mô hình 355M trung bình của chúng tôi  vào tháng 5 và nghiên cứu tiếp theo với các đối tác và cộng đồng AI về tiềm năng sử dụng sai mục đích và lợi ích xã hội của mô hình. Chúng tôi cũng sẽ phát hành một thỏa thuận pháp lý nguồn mở để giúp các tổ chức dễ dàng hơn trong việc khởi xướng quan hệ đối tác chia sẻ mô hình với nhau và đang công bố một báo cáo kỹ thuật về kinh nghiệm của chúng tôi trong việc phối hợp với cộng đồng nghiên cứu AI rộng lớn hơn về các chuẩn mực công bố.

Việc phối hợp là khó khăn, nhưng có thể thực hiện được . Cho đến nay, vẫn chưa có bản phát hành công khai nào của mô hình ngôn ngữ tham số 1558M, mặc dù nhiều tổ chức đã phát triển các hệ thống để đào tạo chúng hoặc đã thảo luận công khai về cách đào tạo các mô hình lớn hơn. Ví dụ, các nhóm từ cả nhà phát triển NLP  Hugging Face (mở trong cửa sổ mới) và  Viện Allen về Trí tuệ nhân tạo (mở trong cửa sổ mới) (AI2) với Đại học Washington đã rõ ràng áp dụng các phương pháp phát hành theo giai đoạn tương tự với chúng tôi(mở trong cửa sổ mới). Kể từ tháng 2, chúng tôi đã nói chuyện với hơn năm nhóm đã sao chép tài khoản ChatGPT-4. 

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ 

Con người có thể bị thuyết phục bởi văn bản tổng hợp . Nghiên cứu từ các đối tác nghiên cứu của chúng tôi là Sarah Kreps và Miles McCain tại Cornell  được công bố trên  Foreign Affairs (mở trong cửa sổ mới) cho biết mọi người thấy các mẫu văn bản tổng hợp GPT-2 gần như thuyết phục (72% trong một nhóm đánh giá các bài viết là đáng tin cậy) như các bài viết thực sự từ New York Times (83%).  Ngoài ra, nghiên cứu từ AI2/UW đã chỉ ra rằng tin tức do một hệ thống có tên là “GROVER” viết có thể  hợp lý hơn so với tuyên truyền do con người viết(mở trong cửa sổ mới). Những kết quả nghiên cứu này khiến chúng ta thận trọng hơn khi phát hành các mô hình ngôn ngữ.

Phát hiện không đơn giản . Trên thực tế, chúng tôi mong đợi các máy dò cần phát hiện một phần đáng kể các thế hệ với rất ít kết quả dương tính giả. Những kẻ có hành vi xấu có thể sử dụng nhiều kỹ thuật lấy mẫu khác nhau (bao gồm lấy mẫu từ chối) hoặc tinh chỉnh các mô hình để tránh các phương pháp phát hiện. Một hệ thống được triển khai có thể cần phải có độ chính xác cao (99,9%–99,99%) trên nhiều thế hệ khác nhau. Nghiên cứu của chúng tôi cho thấy các phương pháp dựa trên ML hiện tại chỉ đạt được độ chính xác từ thấp đến trung bình 90 và việc tinh chỉnh các mô hình ngôn ngữ làm giảm độ chính xác hơn nữa. Có những con đường đầy hứa hẹn phía trước (xem đặc biệt là những con đường được các nhà phát triển của “ GROVER” ủng hộ (mở trong cửa sổ mới)”) nhưng đây thực sự là một vấn đề nghiên cứu khó khăn. Chúng tôi tin rằng việc phát hiện văn bản theo thống kê cần được bổ sung bằng phán đoán của con người và siêu dữ liệu liên quan đến văn bản để chống lại việc sử dụng sai mô hình ngôn ngữ một cách hiệu quả.

Chúng tôi đã hợp tác với bốn tổ chức nghiên cứu hàng đầu để phân tích cả mô hình tham số GPT-2 774M mới phát hành và mô hình GPT-2 kích thước đầy đủ chưa phát hành. Chúng tôi đã đưa một số kết quả sơ bộ từ họ vào báo cáo kỹ thuật của mình và quá trình phân tích đang diễn ra của họ sẽ là yếu tố quyết định đến khả năng phát hành mô hình 1558M. Chúng tôi cũng đã phát triển một thỏa thuận pháp lý phi thương mại để tạo điều kiện thuận lợi cho việc chia sẻ các mô hình giữa các tổ chức và đang công bố thỏa thuận này tại đây để giúp những người khác khởi xướng các chương trình chia sẻ như vậy.

+ Đại học Cornell  đang nghiên cứu mức độ nhạy cảm của con người đối với thông tin sai lệch kỹ thuật số do các mô hình ngôn ngữ tạo ra.

+ Trung tâm nghiên cứu quốc tế  về khủng bố, chủ nghĩa cực đoan và chống khủng bố (CTEC) thuộc Viện nghiên cứu quốc tế Middlebury đang tìm hiểu cách GPT-2 có thể bị những kẻ khủng bố và cực đoan sử dụng sai mục đích trực tuyến.

+ Đại học Oregon  đang phát triển một loạt “thăm dò độ lệch” để phân tích độ lệch trong GPT-2.

+ Đại học Texas tại Austin  đang nghiên cứu khả năng phát hiện thống kê của đầu ra GPT-2 sau khi tinh chỉnh mô hình trên các tập dữ liệu cụ thể theo miền, cũng như mức độ truyền phát hiện trên các mô hình ngôn ngữ khác nhau.

Nghiên cứu từ các đối tác này sẽ ảnh hưởng đến quyết định phát hành trong tương lai của chúng tôi, cũng như quan sát cách sử dụng mô hình 774M và thảo luận về các mô hình ngôn ngữ với các nhà nghiên cứu và nhà hoạch định chính sách để hiểu các cân nhắc xung quanh các mô hình lớn hơn. Là một phần trong chiến lược phát hành theo giai đoạn, kế hoạch hiện tại của chúng tôi là phát hành mô hình tham số 1558M trong vài tháng nữa, nhưng có khả năng các phát hiện từ đối tác hoặc việc sử dụng mô hình 774M của chúng tôi một cách có chủ đích có thể thay đổi điều này.

Chúng tôi cho rằng sự kết hợp giữa phát hành theo giai đoạn và chia sẻ mô hình dựa trên quan hệ đối tác có thể là nền tảng chính của việc xuất bản có trách nhiệm trong AI, đặc biệt là trong bối cảnh các mô hình tạo ra mạnh mẽ. Các vấn đề vốn có của các mô hình lớn sẽ tăng lên, thay vì giảm đi, theo thời gian. Chúng tôi hy vọng rằng công việc của chúng tôi về GPT-2, được thảo luận thêm trong  báo cáo kỹ thuật(mở trong cửa sổ mới) chúng tôi đang xuất bản sẽ giúp cung cấp bằng chứng mà cộng đồng AI có thể dựa vào khi suy nghĩ về những thách thức trong việc xuất bản vốn có trong một số phần nghiên cứu AI.