Cuộc thi Procgen và MineRL

Cuộc thi Procgen

Cuộc  thi Procgen (mở trong cửa sổ mới) tập trung vào việc cải thiện hiệu quả mẫu và khái quát hóa trong học tăng cường. Người tham gia sẽ cố gắng tối đa hóa hiệu suất của các tác nhân bằng cách sử dụng một số lượng tương tác môi trường cố định. Các tác nhân sẽ được đánh giá trong mỗi một trong 16 môi trường đã được công bố công khai trong  Procgen Benchmark (mở trong cửa sổ mới), cũng như trong bốn môi trường thử nghiệm bí mật được tạo riêng cho cuộc thi này. Bằng cách tổng hợp hiệu suất trên nhiều môi trường đa dạng, chúng tôi có được các số liệu chất lượng cao để đánh giá các thuật toán cơ bản. Bạn có thể tìm thêm thông tin về chi tiết của từng vòng  tại đây (mở trong cửa sổ mới).

• Trong tay tài khoản ChatGPT 4 ngay tài đây 

Vì tất cả nội dung đều được tạo theo thủ tục, nên mỗi môi trường Procgen về bản chất đều yêu cầu các tác nhân phải khái quát hóa thành các tình huống chưa từng thấy trước đây. Do đó, các môi trường này cung cấp một bài kiểm tra mạnh mẽ về khả năng học hỏi của tác nhân trong nhiều bối cảnh đa dạng. Hơn nữa, chúng tôi đã thiết kế các môi trường Procgen để nhanh chóng và dễ sử dụng. Những người tham gia có tài nguyên tính toán hạn chế sẽ có thể dễ dàng tái tạo các kết quả cơ sở của chúng tôi và chạy các thử nghiệm mới. Chúng tôi hy vọng rằng điều này sẽ trao quyền cho những người tham gia lặp lại nhanh chóng các phương pháp mới để cải thiện hiệu quả mẫu và khái quát hóa trong RL.

Nhiều thành công gần đây, được ca ngợi của trí tuệ nhân tạo, chẳng hạn như AlphaStar, AlphaGo và  OpenAI Five của chúng tôi , sử dụng học tăng cường sâu để đạt được hiệu suất ở cấp độ con người hoặc siêu nhân trong các nhiệm vụ ra quyết định tuần tự. Những cải tiến đối với công nghệ tiên tiến này cho đến nay đã yêu cầu một  lượng mẫu tính toán và mô phỏng tăng theo cấp số  nhân, và do đó, rất khó ^để áp dụng nhiều hệ thống này trực tiếp vào các vấn đề thực tế trong đó các mẫu môi trường rất tốn kém. Một cách nổi tiếng để giảm độ phức tạp của mẫu môi trường là tận dụng các tiên nghiệm của con người và các cuộc trình diễn về hành vi mong muốn.

Để thúc đẩy hơn nữa nghiên cứu theo hướng này, chúng tôi đang đồng tổ chức  Cuộc thi MineRL 2020 (mở trong cửa sổ mới) nhằm mục đích thúc đẩy sự phát triển của các thuật toán có thể tận dụng hiệu quả các cuộc biểu tình của con người để giảm đáng kể số lượng mẫu cần thiết để giải quyết các môi trường phức tạp, phân cấp và thưa thớt. Để đạt được mục đích đó, những người tham gia sẽ cạnh tranh để phát triển các hệ thống có thể lấy được kim cương trong  Minecraft (mở trong cửa sổ mới) từ các pixel thô chỉ sử dụng 8.000.000 mẫu từ  trình mô phỏng MineRL (mở trong cửa sổ mới) và 4 ngày đào tạo trên một máy GPU duy nhất. Người tham gia sẽ được cung cấp bộ dữ liệu MineRL-v0 ( trang web (mở trong cửa sổ mới),  giấy (mở trong cửa sổ mới)), một bộ sưu tập quy mô lớn gồm hơn 60 triệu khung hình trình diễn của con người, cho phép họ sử dụng các quỹ đạo chuyên gia để giảm thiểu tương tác của thuật toán với trình mô phỏng Minecraft.

Cuộc thi này là sự tiếp nối của  Cuộc thi MineRL 2019 (mở trong cửa sổ mới) trong đó  đại lý của đội hàng đầu (mở trong cửa sổ mới) có thể  lấy được một cái cuốc sắt (mở trong cửa sổ mới) (mục tiêu áp chót của cuộc thi) trong ngân sách tính toán và tương tác mô phỏng cực kỳ hạn chế này. Đặt trong bối cảnh, các hệ thống học tăng cường tiêu chuẩn hiện đại đòi hỏi hàng trăm triệu tương tác môi trường trên các hệ thống đa GPU lớn để đạt được cùng một mục tiêu. Năm nay, chúng tôi dự đoán các đối thủ sẽ thúc đẩy công nghệ tiên tiến này xa hơn nữa.

Để đảm bảo rằng các đối thủ cạnh tranh phát triển các thuật toán thực sự hiệu quả về mẫu, ban tổ chức cuộc thi MineRL đào tạo các mô hình vòng chung kết của đội đứng đầu từ đầu với các ràng buộc nghiêm ngặt về phần cứng, tính toán và tương tác mô phỏng có sẵn. Cuộc thi MineRL 2020 cũng có một biện pháp mới để tránh các tính năng kỹ thuật thủ công và các giải pháp quá mức cho miền. Có thể tìm thấy thêm thông tin chi tiết về cấu trúc cuộc thi  tại đây (mở trong cửa sổ mới).

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt