GPT-2: Phiên bản 1.5B

Là bản phát hành mô hình cuối cùng của  bản phát hành theo giai đoạn của  GPT-2 , chúng tôi đang phát hành phiên bản lớn nhất (1,5 tỷ tham số) của GPT-2 cùng với  mã và trọng số mô hình (mở trong cửa sổ mới) để tạo điều kiện phát hiện đầu ra của các mô hình GPT-2. Mặc dù đã có các mô hình ngôn ngữ lớn hơn được phát hành kể từ tháng 8, chúng tôi vẫn tiếp tục với kế hoạch phát hành theo giai đoạn ban đầu của mình để cung cấp cho cộng đồng một trường hợp thử nghiệm của quy trình phát hành theo giai đoạn đầy đủ. Chúng tôi hy vọng rằng trường hợp thử nghiệm này sẽ hữu ích cho các nhà phát triển các mô hình mạnh mẽ trong tương lai và chúng tôi đang tích cực tiếp tục cuộc trò chuyện với cộng đồng AI về việc xuất bản có trách nhiệm.

• Tài khoản ChatGPT 4 tại đây với nhiều ưu đãi đăc biệt hấp dẫn!

Mặc dù đã có các mô hình ngôn ngữ lớn hơn được phát hành kể từ tháng 8, chúng tôi vẫn tiếp tục với kế hoạch phát hành theo giai đoạn ban đầu của mình để cung cấp cho cộng đồng một trường hợp thử nghiệm của quy trình phát hành theo giai đoạn đầy đủ. Chúng tôi hy vọng rằng trường hợp thử nghiệm này sẽ hữu ích cho các nhà phát triển các mô hình mạnh mẽ trong tương lai và chúng tôi đang tích cực tiếp tục cuộc trò chuyện với cộng đồng AI về việc xuất bản có trách nhiệm.

Con người thấy kết quả đầu ra của GPT-2 thuyết phục . Các đối tác của chúng tôi tại Đại học Cornell đã khảo sát mọi người để gán cho văn bản GPT-2 một điểm tin cậy trên các kích thước mô hình. Mọi người đã cho mô hình 1.5B một “điểm tin cậy” là 6,91 trên 10. Điểm này cao hơn một chút so với kết quả đầu ra từ mô hình 774M (6,72) và cao hơn đáng kể so với mô hình 355M trung bình (6,07). Những kết quả này khiến chúng tôi có xu hướng phát hành mô hình 1.5B hơn, vì mức tăng gia tăng về độ tin cậy mà con người cảm nhận so với 774M có vẻ thấp.

GPT-2 có thể được tinh chỉnh để sử dụng sai mục đích . Các đối tác của chúng tôi tại Trung tâm về chủ nghĩa khủng bố, chủ nghĩa cực đoan và chống khủng bố (CTEC) thuộc Viện nghiên cứu quốc tế Middlebury đã phát hiện ra rằng các nhóm cực đoan có thể sử dụng GPT-2 để sử dụng sai mục đích, cụ thể là bằng cách tinh chỉnh các mô hình GPT-2 trên bốn lập trường tư tưởng: chủ nghĩa da trắng thượng đẳng, chủ nghĩa Marx, chủ nghĩa Hồi giáo thánh chiến và chủ nghĩa vô chính phủ. CTEC đã chứng minh rằng có thể tạo ra các mô hình có thể tạo ra tuyên truyền tổng hợp cho các hệ tư tưởng này. Họ cũng chỉ ra rằng, mặc dù có độ chính xác phát hiện thấp trên các đầu ra tổng hợp, các phương pháp phát hiện dựa trên ML có thể khiến các chuyên gia nghi ngờ hợp lý rằng một tác nhân đang tạo ra văn bản tổng hợp.

Phát hiện là thách thức . Chúng tôi cho rằng phát hiện văn bản tổng hợp dựa trên nội dung là một thách thức lâu dài. Để kiểm tra xem các phương pháp học máy có thể giúp ích ngày nay hay không, chúng tôi đã tiến hành nghiên cứu phát hiện nội bộ và phát triển một  mô hình phát hiện (mở trong cửa sổ mới) có tỷ lệ phát hiện ~95% để phát hiện văn bản do GPT-2 tạo ra 1,5B. Chúng tôi tin rằng độ chính xác này không đủ cao để phát hiện độc lập và cần được kết hợp với các phương pháp dựa trên siêu dữ liệu, phán đoán của con người và giáo dục công chúng để có hiệu quả hơn. Chúng tôi đang phát hành mô hình này để hỗ trợ nghiên cứu về phát hiện văn bản tổng hợp, mặc dù điều này cho phép những kẻ tấn công có quyền truy cập tránh bị phát hiện tốt hơn.

Trong khi chúng tôi thấy độ chính xác của phát hiện phụ thuộc rất nhiều vào các phương pháp lấy mẫu được sử dụng trong quá trình đào tạo và thử nghiệm, chúng tôi cũng thấy phát hiện đáng tin cậy hơn khi đào tạo trên nhiều kỹ thuật lấy mẫu. Như được thấy trong hình bên dưới, chúng tôi nhận thấy rằng đầu ra của các mô hình lớn hơn khó phân loại hơn, nhưng đào tạo trên đầu ra của các mô hình lớn hơn giúp kết quả phát hiện chính xác và mạnh mẽ hơn. Chúng tôi mong đợi xu hướng này sẽ tiếp tục và phát hiện sẽ khó khăn hơn khi kích thước mô hình tăng lên.