Hệ thống AI nên hoạt động như thế nào và ai sẽ quyết định?

Đầu tiên, chúng tôi “ huấn luyện trước ” các mô hình bằng cách yêu cầu chúng dự đoán những gì sẽ xảy ra tiếp theo trong một tập dữ liệu lớn chứa các phần của Internet. Chúng có thể học cách hoàn thành câu “thay vì rẽ trái, cô ấy rẽ ___.” Bằng cách học từ hàng tỷ câu, các mô hình của chúng tôi học ngữ pháp, nhiều sự thật về thế giới và một số khả năng lý luận. Chúng cũng học một số thành kiến ​​có trong hàng tỷ câu đó.

Sau đó, chúng tôi “ tinh chỉnh ” các mô hình này trên một tập dữ liệu hẹp hơn mà chúng tôi tạo ra một cách cẩn thận với những người đánh giá con người tuân theo các hướng dẫn mà chúng tôi cung cấp cho họ. Vì chúng tôi không thể dự đoán tất cả các đầu vào có thể mà người dùng trong tương lai có thể đưa vào hệ thống của chúng tôi, nên chúng tôi không viết hướng dẫn chi tiết cho mọi đầu vào mà ChatGPT sẽ gặp phải. Thay vào đó, chúng tôi phác thảo một số danh mục trong các hướng dẫn mà người đánh giá của chúng tôi sử dụng để đánh giá và xếp hạng các đầu ra mô hình có thể có cho một loạt các đầu vào ví dụ. Sau đó, trong khi chúng đang được sử dụng, các mô hình sẽ khái quát hóa từ phản hồi của người đánh giá này để phản hồi cho một loạt các đầu vào cụ thể do một người dùng nhất định cung cấp.

Trong một số trường hợp, chúng tôi có thể hướng dẫn người đánh giá của mình về một loại đầu ra nhất định (ví dụ: "không hoàn thành yêu cầu về nội dung bất hợp pháp"). Trong những trường hợp khác, hướng dẫn mà chúng tôi chia sẻ với người đánh giá ở cấp độ cao hơn (ví dụ: "tránh đưa ra quan điểm về các chủ đề gây tranh cãi"). Quan trọng là, sự hợp tác của chúng tôi với người đánh giá không phải là một lần rồi thôi—mà là một mối quan hệ liên tục, trong đó chúng tôi học được rất nhiều từ chuyên môn của họ.

Một phần lớn của quá trình tinh chỉnh là duy trì vòng phản hồi mạnh mẽ với những người đánh giá của chúng tôi, bao gồm các cuộc họp hàng tuần để giải quyết các câu hỏi họ có thể có hoặc cung cấp các giải thích rõ ràng về hướng dẫn của chúng tôi. Quá trình phản hồi lặp đi lặp lại này là cách chúng tôi đào tạo mô hình để ngày càng tốt hơn theo thời gian.

Nhiều người lo lắng đúng về sự thiên vị trong thiết kế và tác động của các hệ thống AI. Chúng tôi cam kết giải quyết vấn đề này một cách mạnh mẽ và minh bạch về cả ý định và tiến độ của mình. Để đạt được mục tiêu đó, chúng tôi chia sẻ một  phần hướng dẫn của mình liên quan đến các chủ đề chính trị và gây tranh cãi. Hướng dẫn của chúng tôi nêu rõ rằng người đánh giá không được thiên vị bất kỳ nhóm chính trị nào. Tuy nhiên, những thành kiến ​​có thể phát sinh từ quy trình được mô tả ở trên là lỗi, không phải tính năng.

Mặc dù sẽ luôn có những bất đồng, chúng tôi hy vọng việc chia sẻ bài đăng trên blog này và những hướng dẫn này sẽ cung cấp thêm thông tin chi tiết về cách chúng tôi xem xét khía cạnh quan trọng này của một công nghệ nền tảng như vậy. Chúng tôi tin rằng các công ty công nghệ phải chịu trách nhiệm đưa ra các chính sách có thể chịu được sự giám sát chặt chẽ.

Chúng tôi luôn nỗ lực cải thiện tính rõ ràng của các hướng dẫn này—và dựa trên những gì chúng tôi đã học được từ lần ra mắt ChatGPT cho đến nay, chúng tôi sẽ cung cấp hướng dẫn rõ ràng hơn cho người đánh giá về những cạm bẫy và thách thức tiềm ẩn liên quan đến sự thiên vị, cũng như các số liệu và chủ đề gây tranh cãi. Ngoài ra, như một phần của các sáng kiến ​​minh bạch đang diễn ra, chúng tôi đang nỗ lực chia sẻ thông tin nhân khẩu học tổng hợp về người đánh giá của mình theo cách không vi phạm các quy tắc và chuẩn mực về quyền riêng tư, vì đây là một nguồn thiên vị tiềm ẩn khác trong kết quả đầu ra của hệ thống.

Hiện tại chúng tôi đang nghiên cứu cách làm cho quá trình tinh chỉnh dễ hiểu và dễ kiểm soát hơn, đồng thời đang xây dựng dựa trên những tiến bộ bên ngoài như  phần thưởng dựa trên quy tắc và AI Hiến pháp.

Trong quá trình theo đuổi sứ mệnh của mình, chúng tôi cam kết đảm bảo rằng quyền truy cập, lợi ích và ảnh hưởng đến AI và AGI được phổ biến rộng rãi. Chúng tôi tin rằng có ít nhất ba khối xây dựng cần thiết để đạt được các mục tiêu này trong bối cảnh hành vi của hệ thống AI. 

Cải thiện hành vi mặc định . Chúng tôi muốn càng nhiều người dùng càng tốt thấy hệ thống AI của chúng tôi hữu ích với họ ngay khi sử dụng và cảm thấy rằng công nghệ của chúng tôi hiểu và tôn trọng các giá trị của họ.

Để đạt được mục đích đó, chúng tôi đang đầu tư vào nghiên cứu và kỹ thuật để giảm cả những thành kiến ​​rõ ràng và tinh tế trong cách ChatGPT phản hồi các đầu vào khác nhau. Trong một số trường hợp, ChatGPT hiện từ chối các đầu ra mà nó không nên, và trong một số trường hợp, nó không từ chối khi nó nên. Chúng tôi tin rằng có thể cải thiện cả hai khía cạnh.

Ngoài ra, chúng ta vẫn có thể cải thiện các khía cạnh khác của hành vi hệ thống như hệ thống “tự tạo ra sự việc”. Phản hồi từ người dùng rất có giá trị để thực hiện những cải tiến này.

Xác định các giá trị AI của bạn, trong phạm vi rộng . Chúng tôi tin rằng AI phải là một công cụ hữu ích cho từng cá nhân và do đó có thể tùy chỉnh bởi mỗi người dùng trong phạm vi giới hạn do xã hội xác định. Do đó, chúng tôi đang phát triển bản nâng cấp cho ChatGPT để cho phép người dùng dễ dàng tùy chỉnh hành vi của nó.

• Tài khoản ChatGPT 4 TẠI ĐÂY với nhiều ưu đãi hấp dẫn!

Điều này có nghĩa là cho phép các đầu ra của hệ thống mà những người khác (kể cả chúng ta) có thể không đồng ý mạnh mẽ. Đạt được sự cân bằng phù hợp ở đây sẽ là một thách thức - việc tùy chỉnh đến mức cực đoan sẽ có nguy cơ cho phép sử dụng công nghệ của chúng ta một cách độc hại và AI nịnh hót khuếch đại niềm tin hiện có của mọi người một cách vô thức.

Do đó, sẽ luôn có một số giới hạn về hành vi của hệ thống. Thách thức là xác định những giới hạn đó là gì. Nếu chúng ta cố gắng tự mình đưa ra tất cả những quyết định này hoặc nếu chúng ta cố gắng phát triển một hệ thống AI đơn nhất, nguyên khối, chúng ta sẽ không thực hiện được cam kết mà chúng ta đưa ra trong Hiến chương của mình là "tránh tập trung quyền lực không đúng mức".

Ý kiến ​​đóng góp của công chúng về mặc định và giới hạn cứng . Một cách để tránh sự tập trung quyền lực không đáng có là trao cho những người sử dụng hoặc bị ảnh hưởng bởi các hệ thống như ChatGPT khả năng tác động đến các quy tắc của các hệ thống đó.

Chúng tôi tin rằng nhiều quyết định về mặc định và giới hạn cứng của chúng tôi nên được đưa ra một cách tập thể và trong khi việc triển khai thực tế là một thách thức, chúng tôi đặt mục tiêu đưa vào càng nhiều góc nhìn càng tốt. Để bắt đầu, chúng tôi đã tìm kiếm đầu vào bên ngoài về công nghệ của mình dưới hình thức  nhóm đỏ. Chúng tôi cũng mới bắt đầu  thu thập ý kiến ​​đóng góp của công chúng về AI trong giáo dục (một bối cảnh đặc biệt quan trọng trong đó công nghệ của chúng tôi đang được triển khai).

Chúng tôi đang trong giai đoạn đầu của các nỗ lực thí điểm nhằm thu thập ý kiến ​​đóng góp của công chúng về các chủ đề như hành vi hệ thống, cơ chế tiết lộ (như hình mờ) và chính sách triển khai của chúng tôi nói chung. Chúng tôi cũng đang tìm hiểu quan hệ đối tác với các tổ chức bên ngoài để tiến hành kiểm toán của bên thứ ba về các nỗ lực về an toàn và chính sách của chúng tôi.

Kết hợp ba khối xây dựng trên sẽ cho ra bức tranh về nơi chúng ta đang hướng tới: