Đào tạo hiệu quả các mô hình ngôn ngữ để điền vào giữa

Tóm tắt

• Chỉ với vài bước đơn giản mọi người đã có thể sở hữu tài khoản ChatGPT 4 với nhiều ưu đãi đặc biệt! 

Chúng tôi chứng minh rằng các mô hình ngôn ngữ hồi quy tự động có thể học cách điền vào văn bản sau khi chúng tôi áp dụng một phép biến đổi đơn giản cho tập dữ liệu, phép biến đổi này chỉ đơn giản là di chuyển một khoảng văn bản từ giữa tài liệu đến cuối tài liệu. Mặc dù việc tăng cường dữ liệu này đã thu hút được nhiều sự quan tâm trong những năm gần đây, chúng tôi cung cấp bằng chứng mở rộng cho thấy các mô hình đào tạo với một phần lớn dữ liệu được chuyển đổi theo cách này không gây hại cho khả năng tạo từ trái sang phải ban đầu, được đo bằng độ phức tạp và đánh giá lấy mẫu trên nhiều thang đo. Với tính hữu ích, tính đơn giản và hiệu quả của các mô hình đào tạo để điền vào giữa (FIM), chúng tôi đề xuất rằng các mô hình ngôn ngữ hồi quy tự động trong tương lai được đào tạo bằng FIM theo mặc định. Để đạt được mục đích này, chúng tôi chạy một loạt các phép cắt bỏ trên các siêu tham số chính, chẳng hạn như tần suất chuyển đổi dữ liệu, cấu trúc của phép biến đổi và phương pháp chọn khoảng điền vào. Chúng tôi sử dụng các phép cắt bỏ này để quy định các thiết lập mặc định mạnh mẽ và các biện pháp thực hành tốt nhất để đào tạo các mô hình FIM. Chúng tôi đã phát hành mô hình điền vào tốt nhất của mình được đào tạo bằng các biện pháp thực hành tốt nhất trong API của mình và phát hành các chuẩn mực điền vào của mình để hỗ trợ cho các nghiên cứu trong tương lai.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ!