Cải thiện hành vi của mô hình ngôn ngữ bằng cách đào tạo trên một tập dữ liệu được quản lý

Chúng tôi nhận thấy rằng chúng tôi có thể cải thiện hành vi của mô hình ngôn ngữ đối với các giá trị hành vi cụ thể bằng cách tinh chỉnh trên một tập dữ liệu được quản lý gồm <100 ví dụ về các giá trị đó. Chúng tôi cũng nhận thấy rằng quy trình này trở nên hiệu quả hơn khi các mô hình lớn hơn. Mặc dù kỹ thuật này vẫn còn mới mẻ, chúng tôi đang tìm kiếm những người dùng API OpenAI muốn dùng thử và rất hào hứng tìm cách sử dụng các kỹ thuật này và các kỹ thuật khác trong các trường hợp sử dụng sản xuất.

Xem thêm: mua tài khoản ChatGPT 4 chính hãng giá rẻ

Các mô hình ngôn ngữ có thể xuất ra hầu như bất kỳ loại văn bản nào, với bất kỳ giọng điệu hoặc tính cách nào, tùy thuộc vào đầu vào của người dùng. Phương pháp tiếp cận của chúng tôi nhằm mục đích cung cấp cho các nhà điều hành mô hình ngôn ngữ các công cụ để thu hẹp tập hợp các hành vi phổ quát này thành một tập hợp các giá trị bị hạn chế. Trong khi OpenAI cung cấp các rào cản và giám sát để đảm bảo rằng các trường hợp sử dụng mô hình tương thích với hiến chương của chúng tôi , chúng tôi xem việc lựa chọn chính xác tập hợp các giá trị tương thích với Hiến chương cho mô hình là một lựa chọn mà người dùng của chúng tôi phải đối mặt cho các ứng dụng cụ thể của họ.

Các cuộc thăm dò định tính của chúng tôi cho thấy các mô hình hướng đến giá trị của chúng tôi tuân thủ chặt chẽ hơn với hành vi mong muốn: 

Hành vi mô hình ngôn ngữ phù hợp hoặc mong muốn, giống như hành vi con người phù hợp, không thể bị thu hẹp thành một tiêu chuẩn chung; hành vi mong muốn khác nhau tùy theo ứng dụng và bối cảnh xã hội. Chúng tôi đã phát triển một quy trình để cải thiện hành vi trong một bối cảnh xã hội nhất định bằng cách tạo ra một tập dữ liệu nhắm mục tiêu vào các giá trị. Phân tích của chúng tôi cho thấy sự cải thiện hành vi có ý nghĩa thống kê mà không ảnh hưởng đến hiệu suất của các tác vụ hạ nguồn. Nó cũng cho thấy quy trình của chúng tôi hiệu quả hơn với các mô hình lớn hơn, ngụ ý rằng mọi người sẽ có thể sử dụng tương đối ít mẫu hơn để điều chỉnh hành vi mô hình ngôn ngữ lớn theo các giá trị của riêng họ. Vì việc phác thảo các giá trị cho các nhóm người lớn có nguy cơ làm giảm tiếng nói của nhóm thiểu số, chúng tôi đã tìm cách làm cho quy trình của mình có khả năng mở rộng tương đối so với việc đào tạo lại từ đầu.

Chúng tôi đã phát triển quy trình của mình trong khi làm việc trên một trường hợp sử dụng cho khách hàng API để đạt được hành vi tôn trọng. Chúng tôi đã tiến hành theo các bước sau:

Chúng tôi đã chọn các danh mục mà chúng tôi ưu tiên vì có tác động trực tiếp đến phúc lợi của con người và mô tả hành vi mong muốn trong mỗi danh mục chủ yếu dựa trên luật nhân quyền quốc tế và Hoa Kỳ cũng như các phong trào xã hội phương Tây vì bình đẳng con người, chẳng hạn như Phong trào Dân quyền Hoa Kỳ.

+ Lạm dụng, bạo lực và đe dọa (bao gồm tự làm hại bản thân) : Phản đối bạo lực hoặc đe dọa; khuyến khích tìm kiếm sự giúp đỡ từ các cơ quan có thẩm quyền.

+ Sức khỏe, Thể chất và Tinh thần : Không chẩn đoán bệnh hoặc kê đơn điều trị; phản đối việc dùng thuốc không theo quy ước như phương pháp khoa học thay thế cho điều trị y tế.

+ Đặc điểm và hành vi của con người : Phản đối những tiêu chuẩn không lành mạnh về vẻ đẹp hoặc sự dễ mến; ủng hộ sự tốt bụng và dễ mến mang tính chủ quan.

+ Bất công và bất bình đẳng (bao gồm phân biệt đối xử với các nhóm xã hội) : Phản đối bất công và bất bình đẳng của con người, hoặc công việc làm trầm trọng thêm bất công và bất bình đẳng. Điều này bao gồm các khuôn mẫu và định kiến ​​có hại, đặc biệt là đối với các nhóm xã hội theo luật pháp quốc tế.

+ Quan điểm chính trị và sự bất ổn : Không đảng phái trừ khi làm suy yếu nhân quyền hoặc luật pháp; phản đối sự can thiệp làm suy yếu các tiến trình dân chủ.

+ Các mối quan hệ (tình cảm, gia đình, tình bạn, v.v.) : Phản đối các hành động không được đồng thuận hoặc vi phạm lòng tin; ủng hộ các tiêu chuẩn được thỏa thuận chung, tùy thuộc vào bối cảnh văn hóa và nhu cầu cá nhân.

+ Hoạt động tình dục (bao gồm cả khiêu dâm) : Phản đối hoạt động tình dục bất hợp pháp và không được đồng thuận.

+ Chủ nghĩa khủng bố (bao gồm cả chủ nghĩa da trắng thượng đẳng) : Phản đối hoạt động khủng bố hoặc mối đe dọa khủng bố.

Lưu ý rằng các danh mục chúng tôi chọn không phải là đầy đủ. Mặc dù chúng tôi cân nhắc từng danh mục một cách bình đẳng trong các đánh giá, việc ưu tiên phụ thuộc vào ngữ cảnh.

Chúng tôi đã tạo ra một tập dữ liệu nhắm mục tiêu giá trị gồm 80 mẫu văn bản; mỗi mẫu có định dạng câu hỏi-trả lời và từ 40 đến 340 từ. (Để hiểu rõ hơn về quy mô, tập dữ liệu của chúng tôi có kích thước khoảng 120KB, khoảng 0,000000211% dữ liệu đào tạo GPT-3. 

Việc đào tạo một mô hình ngôn ngữ lớn từ đầu đòi hỏi một lượng lớn dữ liệu. Ví dụ, GPT-3 đã được đào tạo trên 570GB dữ liệu. Xem [ Brown, Mann, Ryder, Subbiah et al].

Sau đó, chúng tôi tinh chỉnh các mô hình GPT-3 (giữa các tham số 125M và 175B) trên tập dữ liệu này bằng các công cụ tinh chỉnh tiêu chuẩn.

Chúng tôi sử dụng các số liệu định lượng và định tính: đánh giá của con người để đánh giá mức độ tuân thủ các giá trị được xác định trước; điểm độc tính

Điểm số độc tính không nắm bắt được tất cả các sắc thái trong độc tính và có những thành kiến ​​riêng của chúng; [ Dixon et al] mô tả sự thiên vị về mặt nhân khẩu học trong đó điểm số độc tính đánh dấu các thuật ngữ nhận dạng là dương tính giả và [ Sap et al] mô tả sự thiên vị về chủng tộc khi điểm số có nhiều khả năng đánh dấu tiếng Anh của người Mỹ gốc Phi là độc hại. Đây là lý do tại sao chúng tôi tiến hành đánh giá thêm.

sử dụng API Perspective; và số liệu đồng hiện diện để kiểm tra giới tính, chủng tộc và tôn giáo. Chúng tôi đã sử dụng các đánh giá để cập nhật tập dữ liệu mục tiêu giá trị của mình khi cần. Chúng tôi đã đánh giá ba bộ mô hình:

+ Các mô hình GPT-3 cơ bản 

+ Các mô hình GPT-3 nhắm mục tiêu giá trị  được tinh chỉnh trên tập dữ liệu nhắm mục tiêu giá trị của chúng tôi, như đã nêu ở trên

+ cKiểm soát các mô hình GPT-3  được tinh chỉnh trên một tập dữ liệu có kích thước và phong cách viết tương tự

Chúng tôi đã rút ra 3 mẫu cho mỗi lời nhắc, với 5 lời nhắc cho mỗi danh mục, tổng cộng là 40 lời nhắc (120 mẫu cho mỗi kích thước mô hình) và có 3 người khác nhau đánh giá từng mẫu. Mỗi mẫu được đánh giá từ 1 đến 5, với 5 nghĩa là văn bản phù hợp nhất với vị trí tình cảm đã chỉ định.