Phương pháp đào tạo đối nghịch cho phân loại văn bản bán giám sát

Tóm tắt

Đào tạo đối nghịch cung cấp một phương tiện để điều chỉnh các thuật toán học có giám sát trong khi đào tạo đối nghịch ảo có thể mở rộng các thuật toán học có giám sát sang bối cảnh bán giám sát. Tuy nhiên, cả hai phương pháp đều yêu cầu thực hiện các nhiễu loạn nhỏ đối với nhiều mục nhập của vectơ đầu vào, điều này không phù hợp với các đầu vào có chiều cao thưa thớt như biểu diễn từ một nóng. Chúng tôi mở rộng đào tạo đối nghịch ảo và đối nghịch sang miền văn bản bằng cách áp dụng nhiễu loạn cho các nhúng từ trong mạng nơ-ron hồi quy thay vì cho chính đầu vào ban đầu. Phương pháp được đề xuất đạt được kết quả tiên tiến trên nhiều tác vụ bán giám sát và hoàn toàn giám sát chuẩn. Chúng tôi cung cấp các hình ảnh trực quan và phân tích cho thấy các nhúng từ đã học được đã được cải thiện về chất lượng và trong khi đào tạo, mô hình ít có khả năng bị quá khớp. 

Xem thêm: mua tài khoản ChatGPT Plus và tài khoản ChatGPT-4 chính hãng giá rẻ