.png)
Một mô hình tuyến tính sử dụng biểu diễn này đạt được độ chính xác phân tích tình cảm tiên tiến trên một tập dữ liệu nhỏ nhưng được nghiên cứu rộng rãi, Stanford Sentiment Treebank (chúng tôi đạt được độ chính xác 91,8% so với mức tốt nhất trước đó là 90,2%) và có thể phù hợp với hiệu suất của các hệ thống được giám sát trước đó bằng cách sử dụng ít hơn 30-100 lần các ví dụ được gắn nhãn. Biểu diễn của chúng tôi cũng chứa một " nơ-ron tình cảm " riêng biệt chứa hầu hết các tín hiệu tình cảm.
Hệ thống của chúng tôi vượt trội hơn các phương pháp khác trên Stanford Sentiment Treebank trong khi sử dụng ít dữ liệu hơn đáng kể.
- Tài khoản ChatGPT 4 chính hãng giá rẻ tại đây!
Chúng tôi rất ngạc nhiên khi mô hình của chúng tôi học được một tính năng có thể diễn giải được và chỉ cần dự đoán ký tự tiếp theo trong các đánh giá của Amazon dẫn đến việc khám phá ra khái niệm về tình cảm. Chúng tôi tin rằng hiện tượng này không chỉ dành riêng cho mô hình của chúng tôi mà thay vào đó là một đặc tính chung của một số mạng nơ-ron lớn được đào tạo để dự đoán bước tiếp theo hoặc chiều tiếp theo trong đầu vào của chúng.
Phương pháp luận
Đầu tiên chúng tôi đào tạo một LSTM nhân với 4.096 đơn vị trên một tập hợp gồm 82 triệu đánh giá của Amazon để dự đoán ký tự tiếp theo trong một đoạn văn bản. Đào tạo mất một tháng trên bốn GPU NVIDIA Pascal, với mô hình của chúng tôi xử lý 12.500 ký tự mỗi giây.
4.096 đơn vị này có thể được coi là một vectơ đặc trưng biểu diễn chuỗi được mô hình đọc. Sau khi đào tạo mLSTM, chúng tôi đã biến mô hình thành một bộ phân loại tình cảm bằng cách lấy một tổ hợp tuyến tính của các đơn vị này, học trọng số của tổ hợp thông qua dữ liệu có giám sát có sẵn.
Nơ-ron tình cảm
Trong khi đào tạo mô hình tuyến tính với quy tắc L1, chúng tôi nhận thấy nó sử dụng ít đơn vị đã học một cách đáng ngạc nhiên. Khi đào sâu hơn, chúng tôi nhận ra thực sự tồn tại một "nơ-ron tình cảm" duy nhất có khả năng dự đoán cao về giá trị tình cảm.
.png)
Giống như các mô hình tương tự, mô hình của chúng tôi có thể được sử dụng để tạo văn bản. Không giống như các mô hình đó, chúng tôi có một nút quay số trực tiếp để kiểm soát cảm xúc của văn bản kết quả: chúng tôi chỉ cần ghi đè giá trị của nơ-ron cảm xúc.
| Tình cảm cố định ở mức tích cực | Tình cảm cố định ở mức tiêu cực |
| Đúng là thứ tôi đang tìm kiếm. Quần vừa vặn, đường may và màu sắc tương phản chính xác với những chiếc quần khác tôi sở hữu. Rất đáng để mua và cũng rất hài lòng! | Gói hàng nhận được trống và không có mã vạch. Thật lãng phí thời gian và tiền bạc. |
| Sản phẩm này có chức năng như mong đợi. Tôi luôn để ba sản phẩm này trong bếp phòng khi cần thay dây. | Một món đồ nhỏ tuyệt vời. Khó có thể đặt trên cũi mà không có một số loại đồ trang trí. Tôi đoán là giống như loại ốc vít mà tôi đã có. |
| Chiếc võng tuyệt vời nhất từ trước đến nay! Giữ nguyên vị trí và giữ nguyên hình dạng. Thoải mái (tôi thích những bức ảnh neon đậm trên đó) và trông rất dễ thương. | Chúng cũng không vừa. Gậy cao thẳng ở cuối. Tương đương với những nụ khác tôi có. Bài học rút ra là phải tránh. |
| Dixie đang nhận bản tin Doolittle của cô ấy, chúng ta sẽ thấy một bản tin mới khác ra mắt vào năm sau. Thật tuyệt. Và đây là nội dung - thông tin mà chúng ta hầu như không biết hoặc quên. | sản phẩm tuyệt vời nhưng không có người bán. không thể xác định được nguyên nhân. Sản phẩm bị hỏng. Tôi là khách hàng trung thành của công ty này mọi lúc. |
| Tôi thích vẻ ngoài của vũ khí này. Như tôi đã nói là đẹp!!! Tôi giới thiệu nó cho tất cả mọi người. Tôi sẽ giới thiệu nó cho nhiều người chơi nhập vai, và tôi sẽ mua chúng cho mọi người tôi biết. Một món đồ phải xem cho bất kỳ người đàn ông nào yêu thích Cờ vua! | Giống như vỏ bọc, vừa vặn. Tuy nhiên, một mảnh phía sau khó chịu như rác nên được loại bỏ khỏi sản phẩm này. Tôi đã mua sản phẩm này với hy vọng nó sẽ giúp ích cho việc kéo căng lưng của tôi và màu đen không giữ nguyên. Mỗi lần sử dụng đều bị bong ra.... Rất thất vọng. |
| Tình cảm cố định ở mức tích cực | Tình cảm cố định ở mức tiêu cực |
| Lúc đầu tôi không thể hình dung ra hình dạng nhưng chắc chắn nó làm được những gì nó được thiết kế để làm. Đây là một sản phẩm tuyệt vời và tôi thực sự khuyên dùng | Tôi không thể tìm ra cách sử dụng sản phẩm. Nó không hoạt động. Ít nhất là không có kiểm soát chất lượng; máy tính bảng này không hoạt động. Tôi sẽ cho nó không sao, nhưng đó không phải là một lựa chọn. |
| Tôi không hiểu tại sao bộ phim này lại bị ngừng phát sóng! Bây giờ tôi có thể thưởng thức nó bất cứ lúc nào tôi thích. Thật vui khi tìm lại được nó. | Tôi không biết cách thiết lập vì không có cảnh báo nào trên hộp. Tôi sẽ không giới thiệu điều này cho bất kỳ ai. |
| Tôi không biết cách sử dụng video hoặc cuốn sách đi kèm, nhưng đây thực sự là một cuốn sách tuyệt vời về cách thực hành! | Tôi không thể tìm ra cách sử dụng tiện ích này. Thật là lãng phí thời gian và tiền bạc. Tốt hơn là vứt bỏ thứ rác rưởi này đi. |
| Tôi không thể tìm ra cách sử dụng chỉ một ứng dụng chạy yêu thích của tôi. Tôi sử dụng nó mọi lúc. Chất lượng tốt, Bạn không thể đánh bại giá cả. | Tôi không thể tìm ra cách để dừng những lời vô nghĩa này lại. Tệ nhất là nó chẳng đi đến đâu cả, bất kể tôi làm gì. Nói thẳng ra là tôi chỉ đọc lướt qua toàn bộ cuốn sách. Đừng lãng phí thời gian của bạn. |
| Tôi không biết cách gắn những quả bóng này vào chiếc trống cầm tay nhỏ bé của mình, nhưng chúng rất phù hợp và xứng đáng với từng xu bỏ ra. | Tôi không thể biết cách chơi trò này. |
Học không có giám sát
Dữ liệu được gắn nhãn là nhiên liệu cho máy học ngày nay. Thu thập dữ liệu thì dễ, nhưng gắn nhãn dữ liệu đó theo quy mô thì khó. Chỉ khả thi khi tạo nhãn cho các vấn đề quan trọng mà phần thưởng xứng đáng với công sức bỏ ra, như dịch máy, nhận dạng giọng nói hoặc tự lái.
Các nhà nghiên cứu về máy học từ lâu đã mơ ước phát triển không giám sát học hỏi thuật toán đến học hỏi một biểu diễn tốt của một tập dữ liệu, sau đó có thể được sử dụng để giải quyết các nhiệm vụ chỉ bằng một vài ví dụ được gắn nhãn. Nghiên cứu của chúng tôi ngụ ý rằng chỉ cần đào tạo các mô hình dự đoán bước tiếp theo không giám sát lớn trên lượng dữ liệu lớn có thể là một cách tiếp cận tốt để sử dụng khi tạo các hệ thống có khả năng học biểu diễn tốt.
Các bước tiếp theo
Kết quả của chúng tôi là một bước tiến đầy hứa hẹn hướng tới việc học biểu diễn không giám sát chung. Chúng tôi tìm thấy kết quả bằng cách khám phá liệu chúng tôi có thể học được các biểu diễn chất lượng tốt như một tác dụng phụ của mô hình ngôn ngữ hay không và mở rộng mô hình hiện có trên một tập dữ liệu được lựa chọn cẩn thận. Tuy nhiên, hiện tượng cơ bản vẫn còn bí ẩn hơn là rõ ràng.
+ Những kết quả này không mạnh đối với các tập dữ liệu tài liệu dài. Chúng tôi nghi ngờ mô hình cấp độ ký tự của chúng tôi gặp khó khăn trong việc ghi nhớ thông tin qua hàng trăm đến hàng nghìn bước thời gian. Chúng tôi nghĩ rằng việc thử các mô hình phân cấp có thể thích ứng với các thang thời gian mà chúng hoạt động là điều đáng giá. Việc mở rộng quy mô hơn nữa các mô hình này có thể cải thiện thêm độ trung thực của biểu diễn và hiệu suất trong phân tích tình cảm và các tác vụ tương tự.
+ Mô hình gặp khó khăn khi văn bản đầu vào càng khác biệt so với dữ liệu đánh giá. Cần xác minh rằng việc mở rộng tập hợp các mẫu văn bản sẽ mang lại một biểu diễn thông tin tương đương, cũng áp dụng cho các phạm vi rộng hơn.
+ Kết quả của chúng tôi cho thấy có những thiết lập mà các mô hình dự đoán bước tiếp theo rất lớn học được các biểu diễn không giám sát tuyệt vời. Việc đào tạo một mạng nơ-ron lớn để dự đoán khung tiếp theo trong một bộ sưu tập lớn các video có thể dẫn đến các biểu diễn không giám sát cho các bộ phân loại đối tượng, cảnh và hành động.
Nhìn chung, điều quan trọng là phải hiểu các đặc tính của mô hình, chế độ đào tạo và tập dữ liệu có thể dẫn đến những biểu diễn tuyệt vời như vậy một cách đáng tin cậy.
Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt!
Cách đổi Mật khẩu Chat GPT - Hướng dẫn đổi Pass Chat GPT 100% Thành công 
Hướng dẫn Cách đăng nhập Chat GPT Nhanh nhất | Có hỗ trợ Miễn phí qua Teamview-Ultraview 
Chat GPT Plus là gì? So sánh Chat GPT Plus với Chat GPT Miễn phí 
Chat GPT bị giới hạn giải thích vì sao và cách khắc phục 
Chat GPT là gì ? Cách đăng Ký Chat GPT Miễn Phí tại Việt Nam