Cải thiện khả năng hiểu ngôn ngữ bằng cách học không giám sát

Chúng tôi đã thu được kết quả tiên tiến nhất về một bộ các nhiệm vụ ngôn ngữ đa dạng với một hệ thống có thể mở rộng, không phụ thuộc vào nhiệm vụ, mà chúng tôi cũng đang phát hành. Phương pháp tiếp cận của chúng tôi là sự kết hợp của hai ý tưởng hiện có: bộ chuyển đổi và  đào tạo trước không có giám sát. Những kết quả này cung cấp một ví dụ thuyết phục rằng việc ghép nối các phương pháp học có giám sát với đào tạo trước không giám sát hoạt động rất tốt; đây là một ý tưởng mà nhiều người đã khám phá trong quá khứ và chúng tôi hy vọng kết quả của chúng tôi sẽ thúc đẩy nghiên cứu sâu hơn về việc áp dụng ý tưởng này trên các tập dữ liệu lớn hơn và đa dạng hơn.

Hệ thống của chúng tôi hoạt động theo hai giai đoạn; đầu tiên, chúng tôi đào tạo một mô hình biến đổi trên một lượng dữ liệu rất lớn theo cách không giám sát—sử dụng mô hình ngôn ngữ làm tín hiệu đào tạo—sau đó chúng tôi tinh chỉnh mô hình này trên các tập dữ liệu có giám sát nhỏ hơn nhiều để giúp nó giải quyết các nhiệm vụ cụ thể. Chúng tôi đã phát triển phương pháp tiếp cận này sau  công trình nghiên cứu về nơ-ron tình cảm của  mình, trong đó chúng tôi lưu ý rằng các kỹ thuật học không giám sát có thể tạo ra các tính năng phân biệt đáng ngạc nhiên khi được đào tạo trên đủ dữ liệu. Ở đây, chúng tôi muốn khám phá sâu hơn ý tưởng này: chúng ta có thể phát triển một mô hình, đào tạo nó theo cách không giám sát trên một lượng dữ liệu lớn, sau đó tinh chỉnh mô hình để đạt được hiệu suất tốt trên nhiều nhiệm vụ khác nhau không? Kết quả của chúng tôi chỉ ra rằng phương pháp tiếp cận này hoạt động tốt một cách đáng ngạc nhiên; cùng một mô hình cốt lõi có thể được tinh chỉnh cho các nhiệm vụ rất khác nhau với khả năng thích ứng tối thiểu.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ

Công trình này xây dựng dựa trên phương pháp tiếp cận được giới thiệu trong học trình tự bán giám sát, cho thấy cách cải thiện hiệu suất phân loại tài liệu bằng cách sử dụng tiền đào tạo không giám sát của LSTM tiếp theo là tinh chỉnh có giám sát. Nó cũng mở rộng  ULMFiT, nghiên cứu cho thấy cách một mô hình ngôn ngữ LSTM không phụ thuộc vào tập dữ liệu đơn lẻ có thể được tinh chỉnh để đạt được hiệu suất tiên tiến trên nhiều tập dữ liệu phân loại tài liệu; công trình của chúng tôi cho thấy cách một mô hình dựa trên Transformer có thể được sử dụng trong phương pháp tiếp cận này để thành công trong nhiều nhiệm vụ hơn ngoài phân loại tài liệu, chẳng hạn như suy luận theo lẽ thường, sự tương đồng về mặt ngữ nghĩa và hiểu đọc. Nó cũng tương tự nhưng không phụ thuộc vào nhiệm vụ hơn  ELMo, kết hợp đào tạo trước nhưng sử dụng kiến ​​trúc tùy chỉnh theo tác vụ để có được kết quả tiên tiến nhất trên nhiều tác vụ.

Rất ít điều chỉnh được sử dụng để đạt được kết quả của chúng tôi. Tất cả các tập dữ liệu đều sử dụng một mô hình ngôn ngữ chuyển tiếp duy nhất, không có bất kỳ sự kết hợp nào và phần lớn các kết quả được báo cáo đều sử dụng cùng một thiết lập siêu tham số chính xác.

Một kết quả mà chúng tôi đặc biệt phấn khích là hiệu suất của phương pháp tiếp cận của chúng tôi trên ba tập dữ liệu— COPA),  loài và  ROCStories—được thiết kế để kiểm tra lý luận thông thường và khả năng đọc hiểu. Mô hình của chúng tôi thu được kết quả mới nhất về các tập dữ liệu này với biên độ rộng. Người ta cho rằng các tập dữ liệu này đòi hỏi lý luận nhiều câu và kiến ​​thức thế giới đáng kể để giải quyết, cho thấy mô hình của chúng tôi cải thiện các kỹ năng này chủ yếu thông qua học không giám sát. Điều này cho thấy có hy vọng phát triển khả năng hiểu ngôn ngữ phức tạp thông qua các kỹ thuật không giám sát.

Học có giám sát là cốt lõi của hầu hết thành công gần đây của học máy. Tuy nhiên, nó có thể đòi hỏi phải có quy mô lớn, được làm sạch cẩn thận và tốn kém để tạo ra các tập dữ liệu hoạt động tốt. Học không giám sát hấp dẫn vì tiềm năng giải quyết những nhược điểm này. Vì học không giám sát loại bỏ nút thắt cổ chai của việc dán nhãn rõ ràng của con người nên nó cũng mở rộng tốt với xu hướng hiện tại của việc  tăng cường tính toán và tính khả dụng của dữ liệu thô. Học không giám sát là một tích cực(mở trong cửa sổ mới) khu vực của nghiên cứu nhưng ứng dụng thực tế của nó thường vẫn còn hạn chế.

Gần đây đã có một nỗ lực nhằm cố gắng nâng cao khả năng ngôn ngữ bằng cách sử dụng học không giám sát để tăng cường các hệ thống với lượng lớn dữ liệu không có nhãn; các biểu diễn của các từ được đào tạo thông qua các kỹ thuật không giám sát có thể sử dụng các tập dữ liệu lớn bao gồm hàng terabyte thông tin và khi được tích hợp với học có giám sát, cải thiện hiệu suất trên nhiều tác vụ NLP. Cho đến gần đây, các kỹ thuật không giám sát này cho NLP (ví dụ: GLoVe và word2vec) sử dụng các mô hình đơn giản (vectơ từ) và tín hiệu đào tạo (sự xuất hiện đồng thời tại địa phương của các từ). Là một minh chứng ban đầu đáng chú ý về những cải tiến tiềm năng mà các phương pháp tiếp cận phức tạp hơn có thể thực hiện được. Nhưng các kỹ thuật mới hiện đang được sử dụng giúp tăng cường hiệu suất hơn nữa. Chúng bao gồm việc sử dụng các mô hình biểu diễn câu được đào tạo trước, các vectơ từ ngữ theo ngữ cảnh (đặc biệt là  ELMo và CoV), và các phương pháp sử dụng kiến ​​trúc tùy chỉnh để kết hợp quá trình đào tạo trước không giám sát với quá trình điều chỉnh có giám sát, giống như phương pháp của chúng tôi.