Các tế bào thần kinh đa phương thức trong mạng lưới thần kinh nhân tạo

Thật vậy, chúng tôi đã rất ngạc nhiên khi thấy nhiều loại trong số này dường như phản ánh các tế bào thần kinh ở thùy thái dương giữa được ghi nhận ở những bệnh nhân động kinh có điện cực độ sâu trong sọ. Chúng bao gồm các tế bào thần kinh phản ứng với cảm xúc, loài động vật, và những người nổi tiếng. 

Nhưng cuộc điều tra của chúng tôi về CLIP tiết lộ nhiều sự trừu tượng kỳ lạ và tuyệt vời hơn nữa, bao gồm các tế bào thần kinh dường như đếm [ 17 (mở trong cửa sổ mới), 202 (mở trong cửa sổ mới),  310 (mở trong cửa sổ mới)], các tế bào thần kinh phản ứng với phong cách nghệ thuật [ 75 (mở trong cửa sổ mới),  587 (mở trong cửa sổ mới),  122 (mở trong cửa sổ mới)], thậm chí cả những hình ảnh có bằng chứng về sự thay đổi kỹ thuật số [ 1640 (mở trong cửa sổ mới)].

Mặc dù phân tích này cho thấy phạm vi khái niệm rộng lớn, chúng tôi lưu ý rằng một phân tích đơn giản ở cấp độ nơ-ron không thể biểu diễn tài liệu đầy đủ về hành vi của mô hình. Ví dụ, các tác giả của CLIP đã chứng minh rằng mô hình có khả năng định vị địa lý rất chính xác, với độ chi tiết mở rộng xuống cấp độ của một thành phố và thậm chí là một khu phố. Trên thực tế, chúng tôi xin kể một giai thoại: chúng tôi đã nhận thấy, bằng cách chạy ảnh cá nhân của mình qua CLIP, rằng CLIP thường có thể nhận ra nếu một bức ảnh được chụp ở San Francisco, và đôi khi thậm chí là cả khu phố (ví dụ: "Twin Peaks").

Tuy nhiên, bất chấp mọi nỗ lực của chúng tôi, chúng tôi vẫn chưa tìm thấy một neuron “San Francisco”, cũng như không có vẻ như từ sự quy kết rằng San Francisco phân tách tốt thành các khái niệm đơn vị có ý nghĩa như “California” và “thành phố”. Chúng tôi tin rằng thông tin này được mã hóa trong các hoạt động của mô hình ở đâu đó, nhưng theo một cách kỳ lạ hơn, hoặc là một hướng hoặc là một đa tạp phức tạp khác. Chúng tôi tin rằng đây là một hướng hữu ích cho nghiên cứu sâu hơn.

Các neuron đa phương thức này có thể cung cấp cho chúng ta cái nhìn sâu sắc về cách CLIP thực hiện phân loại. Với một đầu dò tuyến tính thưa thớt, chúng ta có thể dễ dàng kiểm tra trọng số của CLIP để xem khái niệm nào kết hợp để đạt được phân loại cuối cùng cho phân loại ImageNet:

Lớp heo đất có vẻ như là sự kết hợp của một neuron “tài chính” cùng với một neuron sứ. Neuron Người Nhện được tham chiếu trong phần đầu tiên của bài báo cũng là một máy dò nhện và đóng vai trò quan trọng trong việc phân loại lớp “nhện chuồng”.

Đối với phân loại văn bản, một quan sát chính là các khái niệm này được chứa trong các tế bào thần kinh theo cách mà, tương tự như mục tiêu word2vec, gần  như tuyến tính . Do đó, các khái niệm tạo thành một đại số đơn giản hoạt động tương tự như một đầu dò tuyến tính. Bằng cách tuyến tính hóa sự chú ý, chúng ta cũng có thể kiểm tra bất kỳ câu nào, giống như một đầu dò tuyến tính, như được hiển thị bên dưới:

Khi thăm dò cách CLIP hiểu các từ, có vẻ như đối với mô hình, từ “ngạc nhiên” ám chỉ một số không chỉ là một số biện pháp gây sốc, mà là một cú sốc có loại rất cụ thể, có lẽ kết hợp với sự thích thú hoặc ngạc nhiên. “Gần gũi” bao gồm một nụ cười nhẹ nhàng và trái tim, nhưng không phải là bệnh tật. Chúng tôi lưu ý rằng điều này cho thấy một sự hiểu biết giản lược về toàn bộ trải nghiệm của con người về sự gần gũi - việc trừ đi bệnh tật ngăn cản, ví dụ, những khoảnh khắc gần gũi với những người thân yêu đang bị bệnh. Chúng tôi tìm thấy nhiều sự thiếu sót như vậy khi thăm dò sự hiểu biết của CLIP về ngôn ngữ