Học cách trả thù của Montezuma từ một cuộc biểu tình duy nhất

Gần đây, DeepMind đã cho thấy một tác nhân học Montezuma's Revenge bằng cách bắt chước học từ một cuộc trình diễn;  một cách tiếp cận (mở trong cửa sổ mới) đào tạo một tác nhân để đạt được các trạng thái tương tự như trong video YouTube về Montezuma's Revenge và  một kỹ thuật khác (mở trong cửa sổ mới) kết hợp một phiên bản tinh vi của Q-learning với việc tối đa hóa khả năng thực hiện các hành động trong một cuộc trình diễn. Ưu điểm của các phương pháp này là chúng không yêu cầu kiểm soát nhiều đối với môi trường như kỹ thuật của chúng tôi: chúng không đặt lại môi trường về các trạng thái khác ngoài trạng thái bắt đầu của trò chơi và chúng không giả định quyền truy cập vào các trạng thái trò chơi đầy đủ gặp phải trong cuộc trình diễn. Phương pháp của chúng tôi khác ở chỗ tối ưu hóa trực tiếp những gì chúng tôi quan tâm — điểm số trò chơi, thay vì bắt tác nhân bắt chước cuộc trình diễn; do đó, phương pháp của chúng tôi sẽ không quá phù hợp với một cuộc trình diễn có khả năng không tối ưu và có thể mang lại lợi ích trong các trò chơi nhiều người chơi, nơi chúng tôi muốn tối ưu hóa hiệu suất so với các đối thủ khác chứ không chỉ đối thủ trong cuộc trình diễn.

Mặc dù việc học từng bước do tác nhân của chúng tôi thực hiện đơn giản hơn nhiều so với việc học chơi từ đầu, nhưng vẫn không hề dễ dàng. Một thách thức mà tác nhân RL của chúng tôi phải đối mặt là nó thường không thể đạt được trạng thái chính xác từ sau đó trong bản demo khi nó bắt đầu từ trạng thái trước đó. Điều này là do tác nhân chơi trò chơi ở một khung hình khác với những gì chúng tôi đã sử dụng để ghi lại bản trình diễn, nhưng cũng là do tính ngẫu nhiên trong các hành động khiến nó rất khó có thể tái tạo chính xác bất kỳ chuỗi hành động cụ thể nào. Do đó, tác nhân sẽ cần có khả năng khái quát hóa giữa các trạng thái rất giống nhau, nhưng không giống hệt nhau. Chúng tôi thấy rằng điều này hiệu quả đối với Montezuma's Revenge, nhưng kém hiệu quả hơn nhiều đối với một số trò chơi Atari khác mà chúng tôi đã thử, như Gravitar và Pitfall. Một lý do cho điều này có thể là những trò chơi sau này yêu cầu giải quyết một vấn đề về thị lực khó hơn: chúng tôi thấy những trò chơi này khó chơi từ màn hình được lấy mẫu xuống và chúng tôi thấy một số cải tiến khi sử dụng các chính sách mạng nơ-ron lớn hơn và sâu hơn.

Một thách thức khác mà chúng tôi gặp phải là các thuật toán RL chuẩn như gradient chính sách đòi hỏi phải cân bằng cẩn thận giữa khám phá và khai thác: nếu hành động của tác nhân quá ngẫu nhiên, nó sẽ mắc quá nhiều lỗi để có thể đạt được điểm cuối cùng cần thiết khi bắt đầu từ đầu trò chơi; nếu hành động quá xác định, tác nhân sẽ ngừng học vì nó không khám phá các hành động thay thế. Do đó, để đạt được kết quả được báo cáo trên Montezuma's Revenge, cần phải điều chỉnh cẩn thận hệ số tiền thưởng entropy được sử dụng trong PPO, kết hợp với các siêu tham số khác như tốc độ học và tỷ lệ phần thưởng. Đối với một số trò chơi khác như Gravitar và Pitfall, chúng tôi không thể tìm thấy siêu tham số nào phù hợp để đào tạo toàn bộ chương trình giảng dạy. Thuật toán cũng vẫn cho thấy sự thay đổi ngẫu nhiên đáng kể từ lần chạy này sang lần chạy khác, với một số lần chạy không hội tụ đối với Montezuma's Revenge. Chúng tôi hy vọng rằng những tiến bộ trong tương lai của RL sẽ tạo ra các thuật toán mạnh mẽ hơn đối với nhiễu ngẫu nhiên và sự lựa chọn siêu tham số.

Cuối cùng, giống như thường xảy ra trong học tăng cường, chúng tôi thấy rằng chính sách mạng nơ-ron được đào tạo của chúng tôi vẫn chưa khái quát hóa ở cấp độ của một người chơi.  Một phương pháp (mở trong cửa sổ mới) để kiểm tra khả năng khái quát hóa là làm nhiễu loạn chính sách bằng cách làm cho các hành động  trở nên cố định  và lặp lại hành động cuối cùng với xác suất 0,25 ở mọi khung hình. Sử dụng phương pháp đánh giá này, chính sách đã được đào tạo của chúng tôi đạt được điểm trung bình là 10.000 trên Montezuma's Revenge. Ngoài ra, chúng tôi có thể thực hiện các hành động ngẫu nhiên với xác suất 0,01 (lặp lại trong 4 bước bỏ qua khung hình), dẫn đến điểm trung bình là 8.400 cho chính sách của chúng tôi. Theo giai thoại, chúng tôi thấy rằng những nhiễu loạn như vậy cũng làm giảm đáng kể điểm của người chơi trên Montezuma's Revenge, nhưng ở mức độ ít hơn. Theo như chúng tôi biết, kết quả của chúng tôi khi sử dụng các chính sách nhiễu loạn vẫn tốt hơn tất cả các kết quả đã công bố trước đây. Làm nhiễu loạn chính sách đã học bằng cách bắt đầu với từ 0 đến 30 lần không thực hiện ngẫu nhiên không làm giảm đáng kể kết quả, với phần lớn các lần triển khai đạt được điểm cuối cùng đạt được trong bản trình diễn của chúng tôi.

Trong khi hầu hết các công trình trước đây về việc học từ các cuộc trình diễn tập trung vào  việc bắt chước , khuyến khích hành vi giống hệt với hành vi được thấy trong cuộc trình diễn, chúng tôi đã chỉ ra rằng có thể đạt được kết quả tốt bằng cách tối ưu hóa lợi nhuận trực tiếp. Điều này cho phép tác nhân đi chệch khỏi hành vi đã trình diễn, cho phép nó tìm ra các giải pháp mới và thú vị mà người trình diễn có thể chưa từng cân nhắc. Bằng cách đào tạo trên một chương trình giảng dạy gồm các nhiệm vụ phụ, được tạo ra bằng cách thiết lập lại từ các trạng thái trình diễn, chúng tôi đã sử dụng kỹ thuật này để giải quyết một vấn đề học tăng cường khó đòi hỏi các chuỗi hành động dài.