Bộ phân loại AI mới để chỉ ra văn bản do AI viết

Tính đến ngày 20 tháng 7 năm 2023, trình phân loại AI không còn khả dụng nữa do tỷ lệ chính xác thấp. Chúng tôi đang nỗ lực kết hợp phản hồi và hiện đang nghiên cứu các kỹ thuật xuất xứ hiệu quả hơn cho văn bản, đồng thời cam kết phát triển và triển khai các cơ chế cho phép người dùng hiểu được nội dung âm thanh hoặc hình ảnh có phải do AI tạo ra hay không.

Chúng tôi đã đào tạo một bộ phân loại để phân biệt giữa văn bản do con người viết và văn bản do AI viết từ nhiều nhà cung cấp khác nhau. Mặc dù không thể phát hiện đáng tin cậy tất cả văn bản do AI viết, chúng tôi tin rằng các bộ phân loại tốt có thể cung cấp thông tin để giảm thiểu các khiếu nại sai lệch rằng văn bản do AI tạo ra được viết bởi con người: ví dụ, chạy các chiến dịch thông tin sai lệch tự động , sử dụng các công cụ AI để gian lận học thuật và định vị một chatbot AI là con người.

• Trong tay tài khoản ChatGPT 4 với nhiều ưu đãi đặc biệt!

Bộ phân loại của chúng tôi không hoàn toàn đáng tin cậy.  Trong các đánh giá của chúng tôi về "bộ thử thách" các văn bản tiếng Anh, bộ phân loại của chúng tôi xác định đúng 26% văn bản do AI viết (kết quả dương tính thật) là "có khả năng do AI viết", trong khi dán nhãn sai văn bản do con người viết là do AI viết 9% thời gian (kết quả dương tính giả). Độ tin cậy của bộ phân loại của chúng tôi thường cải thiện khi độ dài của văn bản đầu vào tăng lên. So với  bộ phân loại đã phát hành trước đó của chúng tôi (mở trong cửa sổ mới), bộ phân loại mới này đáng tin cậy hơn đáng kể trên văn bản từ các hệ thống AI mới hơn.

Chúng tôi đang công khai bộ phân loại này để nhận phản hồi về việc liệu các công cụ không hoàn hảo như thế này có hữu ích hay không. Công việc của chúng tôi về phát hiện văn bản do AI tạo ra sẽ tiếp tục và chúng tôi hy vọng sẽ chia sẻ các phương pháp cải tiến trong tương lai.

Hãy tự mình dùng thử công cụ phân loại đang trong quá trình phát triển miễn phí của chúng tôi:

Bộ phân loại của chúng tôi có một số hạn chế quan trọng.  Nó không nên được sử dụng như một công cụ ra quyết định chính , mà thay vào đó là một công cụ bổ sung cho các phương pháp khác để xác định nguồn gốc của một đoạn văn bản.

+ Bộ phân loại không đáng tin cậy lắm đối với các văn bản ngắn (dưới 1.000 ký tự). Ngay cả các văn bản dài hơn đôi khi cũng bị bộ phân loại dán nhãn không chính xác.

+ Đôi khi văn bản do con người viết sẽ được bộ phân loại của chúng tôi gắn nhãn không chính xác nhưng chắc chắn là do AI viết.

+ Chúng tôi khuyên bạn chỉ nên sử dụng trình phân loại cho văn bản tiếng Anh. Nó hoạt động kém hơn đáng kể ở các ngôn ngữ khác và không đáng tin cậy trên mã.

+ Văn bản rất dễ đoán không thể được xác định một cách đáng tin cậy. Ví dụ, không thể dự đoán liệu danh sách 1.000 số nguyên tố đầu tiên được viết bởi AI hay con người, vì câu trả lời đúng luôn giống nhau.

+ Văn bản do AI viết có thể được chỉnh sửa để tránh bộ phân loại. Các bộ phân loại như của chúng tôi có thể được cập nhật và đào tạo lại dựa trên các cuộc tấn công thành công, nhưng không rõ liệu việc phát hiện có lợi thế về lâu dài hay không.

+ Các bộ phân loại dựa trên mạng nơ-ron được biết là được hiệu chỉnh kém bên ngoài dữ liệu đào tạo của chúng. Đối với các đầu vào rất khác so với văn bản trong tập đào tạo của chúng tôi, bộ phân loại đôi khi cực kỳ tự tin vào một dự đoán sai.

Bộ phân loại của chúng tôi là một mô hình ngôn ngữ được tinh chỉnh trên một tập dữ liệu gồm các cặp văn bản do con người viết và văn bản do AI viết về cùng một chủ đề. Chúng tôi đã thu thập tập dữ liệu này từ nhiều nguồn khác nhau mà chúng tôi tin là do con người viết, chẳng hạn như dữ liệu tiền đào tạo và các cuộc trình diễn của con người về các lời nhắc được gửi tới  InstructGPT . Chúng tôi chia mỗi văn bản thành một lời nhắc và một phản hồi. Trên các lời nhắc này, chúng tôi đã tạo ra các phản hồi từ nhiều mô hình ngôn ngữ khác nhau do chúng tôi và các tổ chức khác đào tạo. Đối với ứng dụng web của mình, chúng tôi điều chỉnh ngưỡng tin cậy để giữ tỷ lệ dương tính giả ở mức thấp; nói cách khác, chúng tôi chỉ đánh dấu văn bản có khả năng do AI viết nếu bộ phân loại rất tự tin.

Chúng tôi nhận ra rằng việc xác định văn bản do AI viết là một điểm thảo luận quan trọng giữa các nhà giáo dục và cũng quan trọng không kém là việc nhận ra các giới hạn và tác động của các bộ phân loại văn bản do AI tạo ra trong lớp học. Chúng tôi đã phát triển một  nguồn tài nguyên sơ bộ (mở trong cửa sổ mới) về việc sử dụng ChatGPT cho các nhà giáo dục, trong đó nêu ra một số cách sử dụng và các hạn chế và cân nhắc liên quan. Mặc dù tài nguyên này tập trung vào các nhà giáo dục, chúng tôi hy vọng công cụ phân loại và các công cụ phân loại liên quan của chúng tôi sẽ có tác động đến các nhà báo, các nhà nghiên cứu thông tin sai lệch/sai lệch và các nhóm khác.

Chúng tôi đang hợp tác với các nhà giáo dục tại Hoa Kỳ để tìm hiểu những gì họ đang thấy trong lớp học của mình và thảo luận về khả năng và hạn chế của ChatGPT, và chúng tôi sẽ tiếp tục mở rộng phạm vi tiếp cận khi chúng tôi tìm hiểu. Đây là những cuộc trò chuyện quan trọng cần có như một phần trong sứ mệnh của chúng tôi là triển khai các mô hình ngôn ngữ lớn một cách an toàn, tiếp xúc trực tiếp với các cộng đồng bị ảnh hưởng.

Nếu bạn bị ảnh hưởng trực tiếp bởi những vấn đề này (bao gồm nhưng không giới hạn ở giáo viên, quản trị viên, phụ huynh, học sinh và nhà cung cấp dịch vụ giáo dục), vui lòng cung cấp phản hồi cho chúng tôi bằng biểu mẫu này (mở trong cửa sổ mới). Phản hồi trực tiếp về  tài nguyên sơ bộ (mở trong cửa sổ mới) rất hữu ích và chúng tôi cũng hoan nghênh mọi nguồn lực mà các nhà giáo dục đang phát triển hoặc thấy hữu ích (ví dụ: hướng dẫn khóa học, quy tắc danh dự và cập nhật chính sách, công cụ tương tác, chương trình đào tạo về AI).

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ