An toàn AI cần các nhà khoa học xã hội

Chúng tôi đã viết một bài báo lập luận rằng nghiên cứu an toàn AI dài hạn cần các nhà khoa học xã hội đảm bảo các thuật toán căn chỉnh AI thành công khi con người thực sự tham gia. Việc căn chỉnh đúng các hệ thống AI tiên tiến với các giá trị của con người đòi hỏi phải giải quyết nhiều điều không chắc chắn liên quan đến tâm lý học về lý trí, cảm xúc và thành kiến ​​của con người. Mục đích của bài báo này là thúc đẩy sự hợp tác hơn nữa giữa các nhà nghiên cứu về máy học và khoa học xã hội, và chúng tôi có kế hoạch thuê các nhà khoa học xã hội làm việc toàn thời gian tại OpenAI.

Mục tiêu của sự an toàn trí tuệ nhân tạo (AI) dài hạn là đảm bảo rằng các hệ thống AI tiên tiến phù hợp với các giá trị của con người—rằng chúng thực hiện đáng tin cậy những điều mà con người muốn chúng thực hiện. Tại OpenAI, chúng tôi hy vọng đạt được điều này bằng cách hỏi mọi người những câu hỏi về những gì họ muốn, đào tạo các mô hình học máy (ML) trên dữ liệu này và tối ưu hóa các hệ thống AI để hoạt động tốt theo các mô hình đã học này. Các ví dụ về nghiên cứu này bao gồm Học từ sở thích của con người,  An toàn AI thông qua tranh luận và Học các mục tiêu phức tạp với sự khuếch đại lặp lại.

Thật không may, câu trả lời của con người cho các câu hỏi về giá trị của họ có thể không đáng tin cậy. Con người có kiến ​​thức và khả năng lý luận hạn chế, và thể hiện nhiều thành kiến ​​nhận thức và niềm tin đạo đức khác nhau, hóa ra lại không nhất quán khi suy ngẫm. Chúng tôi dự đoán rằng các cách đặt câu hỏi khác nhau sẽ tương tác với các thành kiến ​​của con người theo những cách khác nhau, tạo ra các câu trả lời chất lượng cao hơn hoặc thấp hơn. Ví dụ, các phán đoán về mức độ sai trái của một hành động có thể thay đổi tùy thuộc vào việc từ "về mặt đạo đức" có xuất hiện trong câu  hỏi hay không và mọi người có thể đưa ra những lựa chọn không nhất quán giữa các lần đánh bạc nếu nhiệm vụ họ được giao là  phức tạp.

• Tài khoản ChatGPT 4 chính hãng giá rẻ với nhiều ưu đãi hấp dẫn!

Chúng tôi có một số phương pháp cố gắng nhắm vào lý luận đằng sau các giá trị của con người, bao gồm cả  việc khuếch đại và tranh luận, nhưng không biết cách họ ứng xử với người thật trong những tình huống thực tế. Nếu một vấn đề với thuật toán căn chỉnh chỉ xuất hiện trong thảo luận ngôn ngữ tự nhiên về một câu hỏi phức tạp có giá trị, ML hiện tại có thể quá yếu để phát hiện ra vấn đề.

Để tránh những hạn chế của ML, chúng tôi đề xuất các thí nghiệm hoàn toàn bao gồm con người, thay thế các tác nhân ML bằng những người đóng vai trò là các tác nhân đó. Ví dụ, cuộc  tranh luậncách tiếp cận để căn chỉnh AI bao gồm một trò chơi với hai người tranh luận AI và một giám khảo là con người; thay vào đó, chúng ta có thể sử dụng hai người tranh luận là con người và một giám khảo là con người. Con người có thể tranh luận bất kỳ câu hỏi nào chúng ta thích và các bài học rút ra trong trường hợp của con người có thể được chuyển giao cho ML.

Những thí nghiệm chỉ dành cho con người này sẽ được thúc đẩy bởi các thuật toán học máy nhưng sẽ không liên quan đến bất kỳ hệ thống ML nào hoặc yêu cầu nền tảng ML. Chúng sẽ yêu cầu thiết kế thử nghiệm cẩn thận để xây dựng một cách có tính xây dựng dựa trên kiến ​​thức hiện có về cách con người suy nghĩ. Hầu hết các nhà nghiên cứu về an toàn AI đều tập trung vào học máy, mà chúng tôi không tin là đủ nền tảng để thực hiện các thí nghiệm này.