Học bắt chước một lần

Tóm tắt

Học bắt chước thường được áp dụng để giải quyết các nhiệm vụ khác nhau một cách riêng biệt. Điều này thường đòi hỏi phải có kỹ thuật tính năng cẩn thận hoặc một số lượng lớn các mẫu. Điều này không phải là những gì chúng ta mong muốn: lý tưởng nhất là robot phải có khả năng học từ rất ít lần trình diễn của bất kỳ nhiệm vụ nào và có thể khái quát hóa ngay lập tức sang các tình huống mới của cùng một nhiệm vụ mà không cần phải có kỹ thuật cụ thể cho từng nhiệm vụ. Trong bài báo này, chúng tôi đề xuất một khuôn khổ học siêu việt để đạt được khả năng như vậy, mà chúng tôi gọi là học bắt chước một lần.

Cụ thể, chúng tôi xem xét bối cảnh có một tập hợp tác vụ rất lớn và mỗi tác vụ có nhiều phiên bản. Ví dụ, một tác vụ có thể là xếp chồng tất cả các khối trên một bàn thành một tòa tháp duy nhất, một tác vụ khác có thể là đặt tất cả các khối trên một bàn thành các tòa tháp hai khối, v.v. Trong mỗi trường hợp, các trường hợp khác nhau của tác vụ sẽ bao gồm các tập hợp khối khác nhau với các trạng thái ban đầu khác nhau. Vào thời điểm đào tạo, thuật toán của chúng tôi được trình bày với các cặp trình diễn cho một tập hợp con của tất cả các tác vụ. Một mạng nơ-ron được đào tạo lấy đầu vào là một trình diễn và trạng thái hiện tại (ban đầu là trạng thái ban đầu của trình diễn kia trong cặp) và đưa ra một hành động với mục tiêu là chuỗi trạng thái và hành động kết quả khớp càng chặt chẽ càng tốt với trình diễn thứ hai. Vào thời điểm kiểm tra, một trình diễn về một trường hợp duy nhất của một tác vụ mới được trình bày và mạng nơ-ron được kỳ vọng sẽ hoạt động tốt trên các trường hợp mới của tác vụ mới này. Việc sử dụng sự chú ý mềm cho phép mô hình khái quát hóa thành các điều kiện và tác vụ chưa thấy trong dữ liệu đào tạo. Chúng tôi dự đoán rằng bằng cách đào tạo mô hình này trên nhiều nhiệm vụ và bối cảnh đa dạng hơn, chúng tôi sẽ có được một hệ thống chung có thể biến mọi cuộc trình diễn thành các chính sách mạnh mẽ có thể hoàn thành nhiều nhiệm vụ khác nhau.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi trong ngày hôm nay!