Trích xuất các khái niệm từ GPT-4

Không giống như hầu hết các sáng tạo của con người, chúng ta không thực sự hiểu được hoạt động bên trong của mạng nơ-ron. Ví dụ, các kỹ sư có thể trực tiếp thiết kế, đánh giá và sửa chữa ô tô dựa trên thông số kỹ thuật của các thành phần của chúng, đảm bảo an toàn và hiệu suất. Tuy nhiên, mạng nơ-ron không được thiết kế trực tiếp; thay vào đó, chúng ta thiết kế các thuật toán đào tạo chúng. Các mạng lưới kết quả không được hiểu rõ và không thể dễ dàng phân tách thành các phần có thể nhận dạng được. Điều này có nghĩa là chúng ta không thể lý giải về sự an toàn của AI theo cùng cách chúng ta lý giải về một thứ gì đó như sự an toàn của ô tô.

Để hiểu và diễn giải mạng nơ-ron, trước tiên chúng ta cần tìm các khối xây dựng hữu ích cho các phép tính nơ-ron. Thật không may, các hoạt động nơ-ron bên trong mô hình ngôn ngữ kích hoạt theo các mẫu không thể đoán trước, dường như biểu diễn nhiều khái niệm cùng một lúc. Chúng cũng kích hoạt dày đặc, nghĩa là mỗi hoạt động luôn kích hoạt trên mỗi đầu vào. Nhưng các khái niệm trong thế giới thực rất thưa thớt—trong bất kỳ bối cảnh nào, chỉ một phần nhỏ trong số tất cả các khái niệm là có liên quan. Điều này thúc đẩy việc sử dụng bộ mã hóa tự động thưa thớt, một phương pháp để xác định một số ít "tính năng" trong mạng nơ-ron quan trọng để tạo ra bất kỳ đầu ra nào, tương tự như tập hợp nhỏ các khái niệm mà một người có thể nghĩ đến khi lý luận về một tình huống. Các tính năng của chúng hiển thị các mẫu hoạt động thưa thớt tự nhiên phù hợp với các khái niệm dễ hiểu đối với con người, ngay cả khi không có động lực trực tiếp để diễn giải.

Tuy nhiên, vẫn còn những thách thức nghiêm trọng trong việc đào tạo các bộ mã hóa tự động thưa thớt. Các mô hình ngôn ngữ lớn biểu diễn một số lượng lớn các khái niệm và các bộ mã hóa tự động của chúng tôi có thể cần phải tương ứng lớn để có thể bao phủ gần hết các khái niệm trong một mô hình biên giới. Việc học một số lượng lớn các tính năng thưa thớt là một thách thức và các công trình trước đây chưa được chứng minh là có thể mở rộng tốt.

Tiến trình nghiên cứu của chúng tôi: đào tạo autoencoder quy mô lớn

Chúng tôi đã phát triển các phương pháp luận mới tiên tiến cho phép chúng tôi mở rộng các bộ mã hóa tự động thưa thớt của mình lên hàng chục triệu tính năng trên các mô hình AI tiên tiến. Chúng tôi thấy rằng phương pháp luận của chúng tôi chứng minh khả năng mở rộng mượt mà và có thể dự đoán được, với lợi nhuận theo quy mô tốt hơn so với các kỹ thuật trước đây. Chúng tôi cũng giới thiệu một số số liệu mới để đánh giá chất lượng tính năng.

Chúng tôi đã sử dụng công thức của mình để đào tạo nhiều bộ mã hóa tự động khác nhau trên các kích hoạt GPT-2 nhỏ và GPT-4, bao gồm một bộ mã hóa tự động 16 triệu tính năng trên GPT-4. Để kiểm tra khả năng diễn giải của các tính năng, chúng tôi hình dung một tính năng nhất định bằng cách hiển thị các tài liệu nơi nó được kích hoạt. Sau đây là một số tính năng có thể diễn giải mà chúng tôi tìm thấy.

Tính năng GPT-4: cụm từ liên quan đến sự vật (đặc biệt là con người) bị lỗi hầu hết mọi người, thì không phải vậy . Tất cả chúng ta đều có những ngày tuyệt vời, thoáng thấy những gì chúng ta cho là hoàn hảo , nhưng chúng ta cũng có thể có những ngày thực sự tệ hại, và tôi có thể đảm bảo với bạn rằng bạn không đơn độc . Vì vậy, đứa trẻ mới biết đi của tôi, và hầu hết những đứa trẻ mới biết đi khác ngoài kia , hãy nhớ rằng ; Đừng là

has w arts . Hệ thống nào được sử dụng để xây dựng phần mềm thế giới thực không có ? Tôi đã xây dựng các hệ thống trong một số ngôn ngữ và khuôn khổ và tất cả chúng đều có w arts và các vấn đề . Tác giả đã nghiên cứu bao nhiêu để tìm ra các giải pháp khác ? Lời kêu gọi ở cuối có vẻ rất lười biếng đối với tôi

thường đặt hy vọng của chúng ta vào những nơi sai lầm – vào thế giới , vào người khác , vào khả năng hoặc tiền bạc của chúng ta – nhưng tất cả những điều đó giống như cát lún . Nơi duy nhất chúng ta có thể tìm thấy hy vọng là ở Chúa Jesus Christ . Những lời này của Kut less cho chúng ta biết chính xác nơi chúng ta cần đến để tìm thấy hy vọng . Tôi nâng

các nhà thờ kể từ lần Đại Tái sinh cuối cùng cũng đã trở nên méo mó . Tôi xin nói lại , trong khi các nhà thờ được hình thành và được gieo trồng bằng những nguồn cảm hứng Thánh thiện và Thiêng liêng nhất , chúng vẫn không thoát khỏi sự tha hóa của nhân loại . Trong khi chúng thuộc về Cha vĩ đại và hoàn hảo của chúng ta , chúng vẫn ở trên một Trái đất không hoàn hảo . Và chúng ta là những kẻ gian ác

hoàn hảo . Nếu ai đó không tin thì hãy để họ nói . Bạn thực sự xuất hiện cách tôi chỉ khoảng một mét . Nhưng thực ra bạn đang ở trong não tôi . Thật là nghệ thuật ! Thật là hoàn hảo ! Không hề có chút mờ nào . Và ở dạng 3 chiều . Âm thanh cũng là 3 chiều . Và hình ảnh .

Tính năng GPT-4: kết thúc các cụm từ liên quan đến việc tăng giá

trên Sàn giao dịch hàng hóa New York Mercantile . Giá tăng 0,16 đô la sau khi Chủ tịch Cục Dự trữ Liên bang Ben Berne gợi ý rằng hôm qua ngân hàng trung ương Hoa Kỳ sẽ tiếp tục chính sách lãi suất thấp để thúc đẩy việc tạo việc làm và tăng trưởng kinh tế , theo báo cáo của Associated Press . Về tác giả Jeff Berman Group News

tổn thất nhỏ . GIỮ ĐIỂM SỐ : Chỉ số công nghiệp Dow Jones tăng 32 điểm , hay 0,2 phần trăm , lên 18.156 vào lúc 3:15 chiều theo giờ miền Đông . Standard & Poor 's ... OM A HA , Neb . ( AP ) — Công ty của Warren Buffett đã mua gần

2 , 354. 50. "Tất cả là về tâm lý ", Wen jie Lu , chiến lược gia tại U BS Group AG có trụ sở tại Thượng Hải nói với Bloomberg News . " Chính phủ cần tiếp tục gửi những tín hiệu mạnh mẽ hơn và nếu không có chúng , thị trường có vẻ sẽ còn giảm sâu hơn nữa ". Khi Thượng Hải đạt đỉnh vào ngày 12 tháng 6 , giá đã tăng hơn

, 115. 18. Hồ sơ phản ánh rằng người kháng cáo cũng đã bao gồm một số hóa đơn được chuẩn bị bằng tay và phiếu lương của nhân viên , bao gồm một biên lai giặt là chưa thanh toán có ngày 29 tháng 6 năm 2013 cho 53 túi quần áo khô nặng 478 pound , với giá hợp đồng là $

Dầu thô Brent giảm 38 cent xuống còn 118,29 đô la một thùng trên Sàn giao dịch tương lai ICE tại London . Dầu thô chuẩn của Hoa Kỳ , West Texas Intermediate , giảm 53 cent xuống còn 99,34 đô la một thùng trên Sàn giao dịch hàng hóa New York . -- Ronald D. White Đồ họa : AAA

Tính năng nhỏ của GPT-2: cụm từ có dạng X và Y

đánh giá các khu vực có khả năng mất mát . Điều này có thể được thực hiện bằng cách lập một danh sách kiểm tra bao gồm danh mục tài sản và các khoản mất mát tiềm ẩn do thiệt hại tài sản và rủi ro cá nhân , cũng như kiểm tra cơ cấu tài chính và nguồn lực của công ty . Phí bảo hiểm cho tất cả các sản phẩm bảo hiểm theo sản phẩm có xu hướng phụ thuộc vào sản phẩm và công ty cụ thể .

tỷ từ việc hạn chế số tiền khấu trừ cho những người có thu nhập cao nhất . Về mặt doanh nghiệp , GOP có thể đưa ra mức cắt giảm thuế được công bố rộng rãi cho chủ sở hữu máy bay phản lực của công ty -- tổng cộng chỉ là 3 tỷ đô la doanh thu hoãn lại trong 10 năm -- và 20 tỷ đô la trợ cấp dầu khí .

bạn không nhận ra , E ut ix ia An ani adi . Tính đến 11 giờ sáng PST vào thứ Hai , An ani adi có thành tích cao nhất ở nội dung snatch và clean and jerk và đứng thứ 5 chung cuộc . Sau đây là các video cô ấy đăng về quá trình tập luyện của mình … An ani adi từng tham gia thi đấu Cử tạ Olympic cho

lập ngân sách , trợ lý sản xuất Sarah đi tham quan hội chợ , nhóm nếm thử của chúng tôi nếm thử hum mus , chúng tôi trò chuyện về các loại thảo mộc và cách sử dụng , bảo quản và ... Tin tức về thực phẩm , khoai tây chiên và sữa ksh akes , và nhóm nếm thử hỗn hợp làm bánh vani đóng hộp ( 01:13

Album nhạc sau khi hợp tác với các thành viên của Wil co và TV On The Radio . Nhưng đừng nhầm lẫn : đây là nhạc rock and roll nguy hiểm , hay " des ert blues " như người ta thường mô tả . Ibrahim Ag Al hab ib của Tin ari wen là Bob Dylan hoặc Bob Marley của nền văn hóa của anh ấy , hoàn chỉnh với cô dì gù nổi bật

Tính năng GPT-4: nhật ký đào tạo máy học

0 : 01 : 33 . 950 198 608 0 1 - 1 0 . 000 0 0 0 : 01 : 34 . 016 584 610 0 1 1 0 . 704 9 1 0 : 01 : 34 . 034 779 612 0 5 5 0

mất 9.01 lần lâu hơn so với nhanh nhất . Điều này có nghĩa là kết quả trung gian đang được lưu vào bộ nhớ đệm . 100.000 vòng lặp , tốt nhất trong 3 : 3. 14 µ s cho mỗi vòng lặp %% thời gian it np .linalg .multi _dot ([ v 1 , v 2 ,v 1 , v 2 ]) Lần chạy chậm nhất

172. 217. 6. 51 | : 80 ... đã kết nối . Yêu cầu HTTP đã gửi , đang chờ phản hồi ... 200 OK Chiều dài : không xác định [ text / html ] Lưu vào : ' index.html ' index.html [ <=> ] 19. 78 K -- .- KB / giây trong 0. 03 giây

[[ 0 . 077 228 01 0 . 086 182 55 0 . 092 563 98 , ... ]] ... THÔNG TIN : tensorflow : mất mát = 2 . 131 19 , bước = 101 THÔNG TIN : tensorflow : toàn cục _step /giây : 5 . 441 32 ... THÔNG TIN : tensorflow : Mất mát cho cuối cùng

Tính năng nhỏ của GPT-2: câu hỏi tu từ/bực tức

chọn những người có đặc điểm chủng tộc rất cụ thể . Như Tobias Bill ist rom , cựu bộ trưởng Bộ Tích hợp Người nhập cư , đã tự hỏi : " Tại sao bạn lại phản ứng như vậy ? Bạn có thực sự nghĩ rằng công dân Thụy Điển , với mái tóc vàng và đôi mắt xanh , đang che giấu những người nhập cư bất hợp pháp không ?" Nếu trong bối cảnh này, chúng ta xem xét sự khác biệt giữa tỷ lệ thất nghiệp cao hơn

drawn . " Cậu đang làm gì ở đây vậy , Spot ty ?" D aph ne Green grass sn ar led . " Wow , đó là điều tốt nhất cậu có thể làm để nâng cấp Da fty à ? Một chữ cái ? Thật tuyệt vời !" Harry chế nhạo . " Tôi đã bảo cậu im lặng bao nhiêu lần rồi

'd rất muốn đeo . Câu trả lời trêu chọc của anh ấy ? Hãy xem cái này – " Thực ra , tôi khá hài lòng với khuôn mặt của mình . Ý tôi là , đây là khuôn mặt tôi đeo hầu hết các ngày . " Thật là một chiếc giá đỡ thông minh . Chính xác là

như đang khóc . Le orio đẩy vai anh ta ra và nghiêm khắc nói , " Mặt anh bị sao thế ? " K ur apika nhún vai . " Tôi bị đấm ." Không cần phải tô hồng đâu . " Anh ổn chứ ? Chuyện gì đã xảy ra ? Có đau không ? Anh thấy rắc rối thế nào

một nghề nghiệp dựa trên nó , dựa trên mô tả trên internet và bài giảng 30 phút tại một ngày mở cửa ? Sáu sinh viên đầy hy vọng đếm giờ cho đến ngày công bố kết quả A - level Đọc thêm Nếu chính phủ muốn giảm tỷ lệ bỏ học đại học , tăng sự hài lòng trong công việc và mức độ việc làm , thì phải bắt đầu bằng

Tính năng GPT-4: vành đai đại số

' $. Ngược lại , chúng ta giả sử rằng $ R ' \ cdot x $ là tổng trực tiếp của $ M \ ot times _ R R ' $ . Chọn một cơ sở $\ bbe _ 1 , \ dots , \ bbe _l $ của $ M $ và viết $ x = x _ 1 \ bbe _ 1 + \ cd

{\ sqrt {- d }} $ là thứ tự tương ứng với mạng $\ Lambda $. Chúng ta đặt $ n = - f ^ 2 d _{ K }$ và $\ alpha := (- b +\ sqrt {- n }) /( 2 \ sqrt { a }) $. Chỉ cần chứng minh rằng với mỗi số nguyên $ k > 0 $, tồn tại một

{\ bf T }_ 1 $ tác động lên vành $ R $ bởi $$ \ begin { aligned } {\ bf t }_ 1 (z _ 1 ^{ i _ 1 } \ cd ots z _n ^ { i _n }) = (t _{ 11 } z _ 1 )^ { i _ 1 } \ cd ots ( t _{ 1

cal { O }/ \ math fr ak { p }) ^ {\ times m } .$ $ Thật hấp dẫn khi cố gắng chứng minh đây là phép nội xạ ive , và sau đó hoàn thành . Để làm điều này , vì nhóm đầu tiên là hữu hạn , sẽ đủ để chứng minh rằng đối với mỗi phần tử không tầm thường $ \ epsilon $ trong

, chúng ta thấy rằng $( \ bar { J } R '' Y )( 0 ;\ ast )$ là một điểm và , với $ n > 0 $, $ $( \ bar { J } R '' Y )( n ; S ) = \ cop rod _{ ( M ; R )} \ prod _{ 1 \ le q j \

Tính năng nhỏ của GPT-2: [ai/cái gì/khi nào/ở đâu/tại sao]

Đại diện Penn Sylvania . Tom Marino ( 29/02/2016 ) : " Donald Trump đang nói lên những gì mà các cử tri đồng ý và những gì mà các cử tri đang cảm thấy ." Quảng cáo Đại diện New York . Tom Reed ( 16/03/2016 ): " Bây giờ là lúc đoàn kết ủng hộ ứng cử viên

ers , số tiền tiết kiệm sẽ không bao giờ đủ để bận tâm . Sáu hàng cũng được một số nhà sản xuất bia báo cáo là có hương vị sắc nét hơn . Hai hàng mang lại hương vị tròn hơn cho bia của bạn . Vì vậy, lời khuyên ở đây là : Luôn sử dụng hai hàng , bất kể công thức yêu cầu hay

và biệt danh của cô ấy là một sự xúc phạm tàn nhẫn ; B rien ne the Beauty . Marg a ery Ty rell diện một bộ trang phục cổ chữ V rất sâu cho lần xuất hiện hoành tráng này . Cô ấy cũng là một trong những người phụ nữ dễ tính nhất mà chúng ta sẽ gặp ở Wester os , người không phải là gái mại dâm . Có vẻ như cô ấy biết cách

yêu cô ấy , và chúng tôi luôn nghĩ về cô ấy . Bạn không biết là tôi cũng nhớ cô ấy sao ? ( Nhìn đi chỗ khác ) Nhưng hãy nói cho tôi biết . Cảm giác có ích gì ? Cảm giác có ích gì ? ( Đi đến bên cạnh cầu thang , nắm lấy nó bằng một tay và bước xuống ) Cái gì

một hình ảnh ba chiều của môi trường xung quanh . Dữ liệu từ mỗi cảm biến được lọc để loại bỏ nhiễu và thường được kết hợp với các nguồn dữ liệu khác để tăng cường hình ảnh gốc. Cách thức xe sử dụng dữ liệu này sau đó để đưa ra quyết định điều hướng được xác định bởi hệ thống điều khiển của xe . Phần lớn các hệ thống điều khiển xe tự lái đều triển khai

Đặc điểm của GPT-4: thụ thể adenosine và dopamine

. al ., Neuro ph armac ology 37 : 265 – 272 , 199 8 ; Fox , S. H. , et . al . , Experimental Neuro logy 151 : 35 – 49 , 199 8 ). Vì các triệu chứng tích cực của bệnh tâm thần phân liệt có liên quan đến mức tăng dopamine , các hợp chất có tác dụng ngược lại với những

của protein thụ thể dopamine D 2 được quan sát thấy ở động mạch chủ và động mạch trung gian , nhưng không có ở các nhánh động mạch thận . Hoạt động miễn dịch của protein thụ thể dopamine D 5 vừa phải được quan sát thấy ở cơ trơn của màng giữa của các nhánh động mạch chủ , động mạch thận và động mạch trung gian . Cắt bỏ hai bên hạch cổ trên ,

của * rs 468 0 * heter ozy g otes trong số bệnh nhân tâm thần phân liệt nam gợi ý một tác dụng bảo vệ cho heter ozy g osis . Dữ liệu hiện tại cũng đồng tình với quan niệm rằng mối quan hệ hình chữ U ngược trong tín hiệu dopamine ở cấp độ phân tử trong vỏ não trước trán sau phát sinh từ mức tối ưu của sản phẩm gen trong

ol cho mA Ch R trên các tế bào nguyên vẹn không bị ảnh hưởng bởi tiền xử lý với I AP . Để nghiên cứu sự liên quan của No và / hoặc Ni trong sự gia tăng khả năng thẩm thấu K + do mA Ch R làm trung gian , tác dụng của xử lý I AP đối với sự kích thích mA Ch R của 86 R b + eff lux đã được xác định . Xử lý

trong việc giải phóng dopamine ở vùng hippoc ampus , nơi nó tăng cường sự tăng cường lâu dài và do đó , học tập . Trong vòng lặp này , N cl acc umb ens hiện đã được chọn làm mục tiêu cho DB S. Giữa : Mạch động lực được điều chỉnh từ công trình của SWANSON ( [ @ B 54 ] ) và Kelley ( [

Hạn chế

Chúng tôi rất hào hứng với khả năng diễn giải để cuối cùng tăng độ tin cậy và khả năng điều khiển của mô hình. Tuy nhiên, đây vẫn là công việc ban đầu với nhiều hạn chế:

+ Giống như các tác phẩm trước, nhiều đặc điểm được phát hiện vẫn khó diễn giải, với nhiều đặc điểm kích hoạt không có mô hình rõ ràng hoặc thể hiện các kích hoạt giả không liên quan đến khái niệm mà chúng dường như thường mã hóa. Hơn nữa, chúng ta không có cách tốt để kiểm tra tính hợp lệ của các diễn giải.

+ Bộ mã hóa tự động thưa thớt không nắm bắt được toàn bộ hành vi của mô hình gốc. Hiện tại, việc truyền các kích hoạt của GPT-4 qua bộ mã hóa tự động thưa thớt dẫn đến hiệu suất tương đương với mô hình được đào tạo với lượng tính toán ít hơn khoảng 10 lần. Để ánh xạ đầy đủ các khái niệm trong LLM biên giới, chúng ta có thể cần mở rộng quy mô lên hàng tỷ hoặc hàng nghìn tỷ tính năng, điều này sẽ rất khó khăn ngay cả với các kỹ thuật mở rộng quy mô được cải thiện của chúng tôi.

+ Bộ mã hóa tự động thưa thớt có thể tìm thấy các tính năng tại một điểm trong mô hình, nhưng đó chỉ là một bước để diễn giải mô hình. Cần phải làm nhiều hơn nữa để hiểu cách mô hình tính toán các tính năng đó và cách các tính năng đó được sử dụng ở hạ lưu trong phần còn lại của mô hình.

Nhìn về phía trước và mở nguồn nghiên cứu của chúng tôi

Trong khi nghiên cứu về bộ mã hóa tự động thưa thớt rất thú vị, vẫn còn một chặng đường dài phía trước với nhiều thách thức chưa được giải quyết. Trong ngắn hạn, chúng tôi hy vọng các tính năng mà chúng tôi tìm thấy có thể hữu ích trong việc giám sát và điều hướng hành vi của mô hình ngôn ngữ và có kế hoạch thử nghiệm điều này trong các mô hình biên giới của chúng tôi. Cuối cùng, chúng tôi hy vọng rằng một ngày nào đó, khả năng diễn giải có thể cung cấp cho chúng tôi những cách mới để lý giải về tính an toàn và độ mạnh của mô hình, đồng thời tăng đáng kể lòng tin của chúng tôi vào các mô hình AI mạnh mẽ bằng cách đưa ra những đảm bảo chắc chắn về hành vi của chúng.

Hôm nay, chúng tôi chia sẻ một bài báo (mở trong cửa sổ mới)trình bày chi tiết các thí nghiệm và phương pháp của chúng tôi, mà chúng tôi hy vọng sẽ giúp các nhà nghiên cứu dễ dàng đào tạo các bộ mã hóa tự động ở quy mô lớn. Chúng tôi đang phát hành một bộ mã hóa tự động đầy đủ cho GPT-2 nhỏ, cùng với mã (mở trong cửa sổ mới)để sử dụng chúng và trình trực quan hóa tính năng (mở trong cửa sổ mới)để hiểu được các tính năng của GPT-2 và GPT-4 có thể tương ứng với những gì.