Học tập với nhận thức học tập của đối thủ

Tóm tắt

Cài đặt nhiều tác nhân đang nhanh chóng trở nên quan trọng trong học máy. Điều này bao gồm rất nhiều công trình gần đây về học tăng cường nhiều tác nhân sâu, nhưng cũng có thể được mở rộng thành RL phân cấp, mạng đối nghịch tạo sinh và tối ưu hóa phi tập trung. Trong tất cả các cài đặt này, sự hiện diện của nhiều tác nhân học khiến vấn đề đào tạo không ổn định và thường dẫn đến đào tạo không ổn định hoặc kết quả cuối cùng không mong muốn. Chúng tôi trình bày Học với Nhận thức học đối thủ (LOLA), một phương pháp trong đó mỗi tác nhân định hình việc học dự kiến ​​của các tác nhân khác trong môi trường. Quy tắc học LOLA bao gồm một thuật ngữ giải thích tác động của chính sách của một tác nhân đối với việc cập nhật tham số dự kiến ​​của các tác nhân khác. Kết quả cho thấy cuộc chạm trán của hai tác nhân LOLA dẫn đến sự xuất hiện của sự ăn miếng trả miếng và do đó là sự hợp tác trong tình thế tiến thoái lưỡng nan của tù nhân lặp đi lặp lại, trong khi học độc lập thì không. Trong lĩnh vực này, LOLA cũng nhận được khoản thanh toán cao hơn so với người học ngây thơ và mạnh mẽ chống lại việc khai thác bằng các phương pháp dựa trên độ dốc bậc cao hơn. Áp dụng cho các xu ghép lặp lại, các tác nhân LOLA hội tụ đến trạng thái cân bằng Nash. Trong một giải đấu vòng tròn, chúng tôi chứng minh rằng các tác nhân LOLA định hình thành công việc học của một loạt các thuật toán học tập đa tác nhân từ tài liệu, dẫn đến lợi nhuận trung bình cao nhất trên IPD. Chúng tôi cũng chứng minh rằng quy tắc cập nhật LOLA có thể được tính toán hiệu quả bằng cách sử dụng phần mở rộng của bộ ước tính độ dốc chính sách, khiến phương pháp này phù hợp với RL không có mô hình. Do đó, phương pháp này có thể mở rộng thành các không gian tham số và đầu vào lớn và các hàm xấp xỉ phi tuyến tính. Chúng tôi áp dụng LOLA cho một nhiệm vụ thế giới lưới với một tình huống khó xử xã hội nhúng bằng cách sử dụng các chính sách tuần hoàn và mô hình đối thủ. Bằng cách xem xét rõ ràng việc học của tác nhân khác, các tác nhân LOLA học cách hợp tác vì lợi ích cá nhân.

Xem thêm: mua tài khoản ChatGTP 4 chính hãng giá rẻ với nhiều ưu đãi trong ngày hôm nay!