Giới thiệu về Activation Atlases

Hiểu được những gì đang diễn ra bên trong mạng nơ-ron không chỉ là vấn đề tò mò khoa học—việc chúng ta thiếu hiểu biết cản trở khả năng kiểm tra mạng nơ-ron và, trong bối cảnh rủi ro cao, đảm bảo chúng an toàn. Thông thường, nếu ai đó định triển khai một phần mềm quan trọng, người đó có thể xem xét tất cả các đường dẫn qua mã hoặc thậm chí thực hiện xác minh chính thức, nhưng với mạng nơ-ron, khả năng thực hiện loại đánh giá này của chúng ta hiện đã bị hạn chế hơn nhiều. Với bản đồ kích hoạt, con người có thể phát hiện ra các vấn đề không lường trước được trong mạng nơ-ron—ví dụ, những nơi mà mạng dựa vào các mối tương quan không chính xác để phân loại hình ảnh hoặc nơi mà việc sử dụng lại một tính năng giữa hai lớp dẫn đến các lỗi lạ. Con người thậm chí có thể sử dụng sự hiểu biết này để “ tấn công"mô hình, sửa đổi hình ảnh để đánh lừa nó.

Ví dụ, có thể tạo một loại atlas kích hoạt đặc biệt để hiển thị cách mạng phân biệt chảo rán và chảo woks. Nhiều thứ chúng ta thấy là những gì người ta mong đợi. Chảo rán có hình vuông hơn, trong khi chảo woks tròn hơn và sâu hơn. Nhưng có vẻ như mô hình đã học được rằng chảo rán và chảo woks cũng có thể được phân biệt bằng thức ăn xung quanh chúng—cụ thể, chảo woks được hỗ trợ bởi sự hiện diện của mì. Thêm mì vào góc của hình ảnh sẽ đánh lừa mô hình 45% thời gian! Điều này tương tự như công việc như các bản vá đối nghịch nhưng dựa trên sự hiểu biết của con người.

Các cuộc tấn công khác do con người thiết kế dựa trên việc mạng lưới quá tải một số bộ dò tính năng thường hiệu quả hơn (một số thành công tới 93% thời gian). Nhưng ví dụ về noodle đặc biệt thú vị vì đây là trường hợp mô hình chọn ra thứ gì đó có tương quan nhưng không phải là nguyên nhân với câu trả lời đúng. Điều này có điểm tương đồng về mặt cấu trúc với các loại lỗi mà chúng ta có thể đặc biệt lo lắng, chẳng hạn như các vấn đề về tính công bằng và thiên vị.

Bản đồ kích hoạt hoạt động tốt hơn chúng tôi dự đoán và dường như cho thấy mạnh mẽ rằng kích hoạt mạng lưới thần kinh có thể có ý nghĩa đối với con người. Điều này giúp chúng tôi lạc quan hơn rằng có thể đạt được khả năng diễn giải trong các mô hình thị giác theo nghĩa mạnh mẽ.

Chúng tôi rất vui mừng khi được thực hiện công việc này với  sự hợp tác với các nhà nghiên cứu tại Google. Chúng tôi tin rằng việc cùng nhau nghiên cứu về an toàn sẽ giúp tất cả chúng ta đảm bảo kết quả tốt nhất cho xã hội khi nghiên cứu AI tiến triển.

• Mua 1 tặng 1 tài khoản ChatGTP Plus chính hãng giá rẻ duy nhất ngày hôm nay!