OpenAI Five đánh bại nhà vô địch thế giới Dota 2

Tổng cộng, phiên bản hiện tại của OpenAI Five đã tiêu thụ 800 petaflop/giây-ngày và trải nghiệm khoảng 45.000 năm tự chơi Dota trong 10 tháng thời gian thực (tăng từ khoảng 10.000 năm trong 1,5 tháng thời gian thực kể từ The International), trung bình 250 năm trải nghiệm mô phỏng mỗi ngày. Phiên bản Chung kết của OpenAI Five có tỷ lệ thắng 99,9% so với phiên bản TI. ^B

Phiên bản hiện tại của OpenAI Five đã được đào tạo liên tục kể từ tháng 6 năm 2018, mặc dù có những thay đổi về  kích thước mô hình (mở trong cửa sổ mới) và các quy tắc trò chơi (bao gồm một số bản cập nhật bản vá trò chơi khá lớn và các tính năng mới được triển khai). Trong mỗi trường hợp, chúng tôi có thể chuyển mô hình và tiếp tục đào tạo—một điều là một thách thức mở đối với RL trong các lĩnh vực khác. Theo hiểu biết của chúng tôi, đây là lần đầu tiên một tác nhân RL được đào tạo bằng cách sử dụng một đợt đào tạo kéo dài như vậy.

Để thực hiện được điều này, chúng tôi đã tiếp tục hoàn thiện  bộ công cụ phẫu thuật để có thể bắt đầu từ các thông số đã được đào tạo ngay cả khi có những thay đổi đáng kể về kiến ​​trúc.

Chúng tôi thấy rất ít sự chậm lại trong quá trình đào tạo từ  5  đến 18 anh hùng. Chúng tôi giả định rằng điều tương tự cũng đúng khi đào tạo nhiều anh hùng hơn nữa và sau The International, chúng tôi đã nỗ lực rất nhiều để tích hợp những anh hùng mới.

Chúng tôi đã dành nhiều tuần để luyện tập với nhóm anh hùng lên đến 25 anh hùng, đưa những anh hùng đó lên khoảng 5k MMR (khoảng phần trăm thứ 95 của người chơi Dota). Mặc dù họ vẫn đang cải thiện, nhưng họ không học đủ nhanh để đạt đến cấp độ chuyên nghiệp trước Chung kết. Chúng tôi vẫn chưa có thời gian để tìm hiểu lý do, nhưng các giả thuyết của chúng tôi bao gồm từ khả năng mô hình không đủ đến cần ghép trận tốt hơn cho nhóm anh hùng mở rộng cho đến việc yêu cầu nhiều thời gian luyện tập hơn cho những anh hùng mới để bắt kịp những anh hùng cũ. Hãy tưởng tượng xem con người sẽ khó khăn như thế nào khi học một anh hùng mới khi mọi người khác đã thành thạo anh hùng của họ!

Chúng tôi tin rằng những vấn đề này về cơ bản có thể giải quyết được và việc giải quyết chúng có thể rất thú vị. Phiên bản Finals chơi với 17 hero—chúng tôi đã loại bỏ Lich vì khả năng của anh ta đã thay đổi đáng kể trong phiên bản Dota 7.20.

Thực sự thì cảm giác rất tuyệt; Viper của tôi đã hy sinh mạng sống của mình vì tôi vào một thời điểm nào đó. Anh ấy đã cố gắng giúp tôi, nghĩ rằng "Tôi chắc chắn cô ấy biết mình đang làm gì" và rồi rõ ràng là tôi không biết. Nhưng, bạn biết đấy, anh ấy tin tưởng tôi. Tôi không thấy điều đó nhiều với những người đồng đội [con người]. — Sheever (mở trong cửa sổ mới)