Cải thiện hành vi an toàn của mô hình với phần thưởng dựa trên quy tắc

Nghiên cứu của chúng tôi cho thấy Phần thưởng dựa trên quy tắc (RBR) tăng cường đáng kể tính an toàn của hệ thống AI của chúng tôi, giúp chúng an toàn hơn và đáng tin cậy hơn để mọi người và nhà phát triển sử dụng hàng ngày. Đây là một phần trong công việc của chúng tôi nhằm khám phá thêm nhiều cách chúng tôi có thể áp dụng AI của riêng mình để làm cho AI an toàn hơn. 

Theo truyền thống, việc tinh chỉnh các mô hình ngôn ngữ bằng cách sử dụng học tăng cường từ phản hồi của con người (RLHF) là phương pháp được sử dụng để đảm bảo chúng tuân theo hướng dẫn một cách chính xác. OpenAI đã đi đầu trong việc phát triển các phương pháp căn chỉnh này để tạo ra các mô hình AI thông minh hơn và an toàn hơn.

Để đảm bảo hệ thống AI hoạt động an toàn và phù hợp với các giá trị của con người, chúng tôi xác định các hành vi mong muốn và thu thập phản hồi của con người để đào tạo "mô hình phần thưởng". Mô hình này hướng dẫn AI bằng cách báo hiệu các hành động mong muốn. Tuy nhiên, việc thu thập phản hồi của con người này cho các nhiệm vụ thường xuyên và lặp đi lặp lại thường không hiệu quả. Ngoài ra, nếu chính sách an toàn của chúng tôi thay đổi, phản hồi mà chúng tôi đã thu thập có thể trở nên lỗi thời, đòi hỏi dữ liệu mới.

Do đó, chúng tôi giới thiệu Phần thưởng dựa trên quy tắc (RBR) như một thành phần chính của ngăn xếp an toàn của OpenAI để điều chỉnh hành vi của mô hình với hành vi an toàn mong muốn. Không giống như phản hồi của con người, RBR sử dụng các quy tắc rõ ràng, đơn giản và từng bước để đánh giá xem đầu ra của mô hình có đáp ứng các tiêu chuẩn an toàn hay không. Khi được đưa vào đường ống RLHF tiêu chuẩn, nó giúp duy trì sự cân bằng tốt giữa việc hữu ích trong khi ngăn ngừa tác hại, để đảm bảo mô hình hoạt động an toàn và hiệu quả mà không có sự kém hiệu quả của các đầu vào của con người thường xuyên. Chúng tôi đã sử dụng RBR như một phần của ngăn xếp an toàn của mình kể từ khi ra mắt GPT-4, bao gồm cả GPT-4o mini và chúng tôi có kế hoạch triển khai nó trong các mô hình của mình trong tương lai.

Quá trình triển khai RBR bao gồm việc xác định một tập hợp các đề xuất—các tuyên bố đơn giản về các khía cạnh mong muốn hoặc không mong muốn của phản hồi của mô hình, chẳng hạn như "có tính phán đoán", "chứa nội dung không được phép", "đề cập đến chính sách an toàn", "từ chối trách nhiệm" và nhiều hơn nữa. Sau đó, các đề xuất này được sử dụng để hình thành các quy tắc được xây dựng cẩn thận nhằm nắm bắt các sắc thái của phản hồi an toàn và phù hợp trong nhiều tình huống khác nhau. Ví dụ, một sự từ chối (ví dụ: "Xin lỗi, tôi không thể giúp bạn với điều đó.") là một phản hồi mô hình mong muốn khi đối mặt với các yêu cầu không an toàn - các quy tắc liên quan sẽ nêu rằng sự từ chối "phải chứa một lời xin lỗi ngắn gọn" và "phải nêu rõ rằng không có khả năng tuân thủ". 

Chúng tôi thiết kế ba loại hành vi mô hình mong muốn khi xử lý các chủ đề có hại hoặc nhạy cảm. Tùy thuộc vào chính sách an toàn, các yêu cầu khác nhau sẽ tương ứng với các loại phản hồi mô hình khác nhau.

Trong các thí nghiệm của chúng tôi, các mô hình được đào tạo theo RBR đã chứng minh hiệu suất an toàn tương đương với các mô hình được đào tạo với phản hồi của con người. Chúng cũng làm giảm các trường hợp từ chối yêu cầu an toàn không đúng cách (“từ chối quá mức”) mà không ảnh hưởng đến các số liệu đánh giá trên các chuẩn mực năng lực chung. RBR cũng làm giảm đáng kể nhu cầu về dữ liệu của con người, giúp quá trình đào tạo nhanh hơn và tiết kiệm chi phí hơn. Ngoài ra, khi các khả năng của mô hình và hướng dẫn an toàn phát triển, RBR có thể được cập nhật nhanh chóng bằng cách sửa đổi hoặc thêm các quy tắc mới mà không cần phải đào tạo lại nhiều.

Chúng tôi đang đánh giá hành vi an toàn của mô hình trong một khuôn khổ mà chúng tôi có thể dễ dàng theo dõi sự đánh đổi giữa tính hữu ích và tính có hại. Một mặt, thật dễ dàng để an toàn nếu mô hình từ chối mọi thứ, nhưng tiện ích của mô hình là bằng không. Mặt khác, chúng tôi không muốn xây dựng một mô hình tối ưu hóa cho tiện ích tối đa, nhưng lại không an toàn hoặc có hại. Một mô hình được căn chỉnh tối ưu sẽ luồn kim này giữa tính hữu ích và tính có hại.

Biểu đồ cho thấy sự đánh đổi giữa tính hữu ích (được đo bằng % lời nhắc an toàn mà mô hình tuân thủ đúng) so với tính an toàn (được đo bằng % lời nhắc không an toàn mà mô hình từ chối đúng). Đối với cả hai số liệu, càng cao càng tốt. Góc trên bên phải đánh dấu sự cân bằng hoàn hảo giữa tính hữu ích và tính an toàn. Đường cơ sở tính hữu ích không sử dụng RBR an toàn và có xu hướng hữu ích hơn nhưng ít an toàn hơn. Đường cơ sở của con người được đào tạo trên dữ liệu an toàn chỉ hữu ích và có chú thích của con người và có xu hướng rất an toàn và ít hữu ích hơn. Với RBR, chúng tôi đặt mục tiêu sắp xếp một mô hình để vừa an toàn vừa hữu ích.

Trong khi RBR hoạt động tốt đối với các nhiệm vụ có quy tắc rõ ràng, đơn giản, chúng có thể khó áp dụng cho các nhiệm vụ chủ quan hơn như viết một bài luận chất lượng cao. Tuy nhiên, RBR có thể được kết hợp với phản hồi của con người để cân bằng những thách thức này. Ví dụ, RBR có thể thực thi các hướng dẫn cụ thể (như "Không sử dụng tiếng lóng" hoặc các quy tắc trong Model Spec ), trong khi phản hồi của con người có thể giúp ích cho các khía cạnh sắc thái hơn (như tính mạch lạc tổng thể). Sức mạnh của RBR được tối ưu hóa để thực thi chính xác các sở thích về an toàn nhưng không ảnh hưởng đến điểm thưởng cuối cùng nhiều hơn mức cần thiết - theo cách này, mô hình phần thưởng RLHF vẫn có thể cung cấp tín hiệu mạnh về phong cách viết eg.

Cân nhắc về mặt đạo đức : Việc chuyển các kiểm tra an toàn từ con người sang AI có thể làm giảm sự giám sát của con người đối với sự an toàn của AI và có thể khuếch đại các thành kiến ​​tiềm ẩn trong các mô hình nếu các mô hình thiên vị được sử dụng để cung cấp phần thưởng RBR. Để giải quyết vấn đề này, các nhà nghiên cứu nên thiết kế RBR một cách cẩn thận để đảm bảo tính công bằng và chính xác, và cân nhắc sử dụng kết hợp RBR và phản hồi của con người để giảm thiểu rủi ro.

Ở đây chúng tôi giới thiệu một phương pháp mô hình hóa sở thích mới sử dụng Phần thưởng dựa trên quy tắc (RBR) để đào tạo an toàn cho các mô hình ngôn ngữ. Phương pháp của chúng tôi tiết kiệm chi phí và thời gian, yêu cầu dữ liệu của con người tối thiểu và dễ dàng cập nhật nếu hành vi mô hình mong muốn thay đổi, đồng thời duy trì sự cân bằng giữa tính an toàn và tính hữu ích.

RBR không chỉ giới hạn ở đào tạo an toàn. Chúng có thể được điều chỉnh cho nhiều nhiệm vụ khác nhau, trong đó các quy tắc rõ ràng có thể xác định hành vi mong muốn, chẳng hạn như điều chỉnh tính cách hoặc định dạng phản hồi của mô hình cho một ứng dụng cụ thể. Nhìn về phía trước, chúng tôi có kế hoạch thực hiện các nghiên cứu cắt bỏ mở rộng hơn để hiểu toàn diện hơn về các thành phần RBR khác nhau, sử dụng dữ liệu tổng hợp để phát triển quy tắc và đánh giá của con người để xác thực hiệu quả của RBR trong nhiều ứng dụng khác nhau bao gồm các lĩnh vực khác ngoài an toàn.

Chúng tôi mời các nhà nghiên cứu và học viên khám phá tiềm năng của RBR trong công việc của họ. Bằng cách chia sẻ hiểu biết sâu sắc và hợp tác về các phương pháp hay nhất, chúng ta có thể cùng nhau thúc đẩy lĩnh vực AI an toàn và phù hợp, đảm bảo rằng các công cụ mạnh mẽ này phục vụ con người tốt hơn.