Về các thuật toán siêu học bậc nhất

Tóm tắt

Bài báo này xem xét các vấn đề học siêu dữ liệu, trong đó có sự phân phối các tác vụ và chúng tôi muốn có được một tác nhân hoạt động tốt (tức là học nhanh) khi được trình bày với một tác vụ chưa từng thấy trước đó được lấy mẫu từ phân phối này. Chúng tôi phân tích một họ các thuật toán để học khởi tạo tham số có thể được tinh chỉnh nhanh chóng trên một tác vụ mới, chỉ sử dụng các đạo hàm bậc nhất cho các bản cập nhật học siêu dữ liệu. Họ này bao gồm và khái quát hóa MAML bậc nhất, một phép tính gần đúng của MAML thu được bằng cách bỏ qua các đạo hàm bậc hai. Nó cũng bao gồm Reptile, một thuật toán mới mà chúng tôi giới thiệu ở đây, hoạt động bằng cách lấy mẫu nhiều lần một tác vụ, đào tạo trên tác vụ đó và chuyển quá trình khởi tạo về phía các trọng số đã được đào tạo trên tác vụ đó. Chúng tôi mở rộng kết quả từ Finn et al. cho thấy các thuật toán học siêu dữ liệu bậc nhất hoạt động tốt trên một số điểm chuẩn đã được thiết lập tốt cho phân loại ít lần thử và chúng tôi cung cấp phân tích lý thuyết nhằm mục đích hiểu lý do tại sao các thuật toán này hoạt động.

Xem thêm: mua tài khoản ChatGPT Plus chín hãng giá rẻ