OpenAI Gym Beta

Chúng tôi đang phát hành bản beta công khai của OpenAI Gym, một bộ công cụ để phát triển và so sánh các thuật toán học tăng cường (RL). Nó bao gồm một bộ môi trường ngày càng mở rộng (từ rô-bốt mô phỏng đến trò chơi Atari) và một trang web để so sánh và tái tạo kết quả.

OpenAI Gym tương thích với các thuật toán được viết trong bất kỳ khuôn khổ nào, chẳng hạn như  Tensorflow và Theano. Các môi trường được viết bằng Python, nhưng chúng tôi sẽ sớm làm cho chúng dễ sử dụng từ bất kỳ ngôn ngữ nào. Ban đầu, chúng tôi xây dựng OpenAI Gym như một công cụ để đẩy nhanh quá trình nghiên cứu RL của riêng mình. Chúng tôi hy vọng nó cũng hữu ích cho cộng đồng rộng lớn hơn.

Nếu bạn muốn bắt đầu ngay, bạn có thể làm theo  hướng dẫn của chúng tôi. Bạn cũng có thể giúp đỡ trong khi học bằng cách tái tạo kết quả.

Học tăng cường (RL) là một lĩnh vực con của học máy liên quan đến việc ra quyết định và điều khiển động cơ. Nó nghiên cứu cách một tác nhân có thể học cách đạt được mục tiêu trong một môi trường phức tạp, không chắc chắn. Nó thú vị vì hai lý do:

+ RL rất tổng quát, bao gồm tất cả các vấn đề liên quan đến việc đưa ra một chuỗi các quyết định : ví dụ, điều khiển động cơ của rô-bốt để nó có thể  chạy và nhảy, đưa ra các quyết định kinh doanh như định giá và quản lý hàng tồn kho hoặc chơi  trò chơi điện tử và  trò chơi cờ bàn. RL thậm chí có thể được áp dụng cho các vấn đề học tập có giám sát với tuần tự hoặc có cấu trúc đầu ra.

+ Thuật toán RL đã bắt đầu đạt được kết quả tốt trong nhiều môi trường khó khăn . RL có lịch sử lâu đời, nhưng cho đến những tiến bộ gần đây trong học sâu, nó đòi hỏi rất nhiều kỹ thuật cụ thể cho từng vấn đề. Kết quả Atari của DeepMind,  BRETT từ  nhóm của Pieter Abbeel  và  AlphaGo tất cả đều sử dụng thuật toán RL sâu không đưa ra quá nhiều giả định về môi trường của chúng và do đó có thể được áp dụng trong các cài đặt khác.

Tuy nhiên, nghiên cứu RL cũng bị chậm lại vì hai yếu tố:

+ Nhu cầu về các chuẩn mực tốt hơn . Trong học tập có giám sát, tiến trình được thúc đẩy bởi các tập dữ liệu được gắn nhãn lớn như  ImageNet. Trong RL, tương đương gần nhất sẽ là một bộ sưu tập lớn và đa dạng các môi trường. Tuy nhiên, các bộ sưu tập nguồn mở hiện có của các môi trường RL không có đủ sự đa dạng và chúng thường khó thiết lập và sử dụng.

+ Thiếu chuẩn hóa môi trường được sử dụng trong các ấn phẩm . Những khác biệt tinh tế trong định nghĩa vấn đề, chẳng hạn như hàm phần thưởng hoặc tập hợp các hành động, có thể thay đổi đáng kể độ khó của nhiệm vụ. Vấn đề này khiến việc tái tạo nghiên cứu đã công bố và so sánh kết quả từ các bài báo khác nhau trở nên khó khăn.

OpenAI Gym là nỗ lực nhằm giải quyết cả hai vấn đề.

OpenAI Gym cung cấp một bộ môi trường đa dạng, từ dễ đến khó và liên quan đến nhiều loại dữ liệu khác nhau. Chúng tôi bắt đầu với các bộ sưu tập sau:

+ Kiểm soát cổ điển và  văn bản đồ chơi: hoàn thành các nhiệm vụ nhỏ, chủ yếu từ tài liệu RL. Chúng ở đây để giúp bạn bắt đầu.

+ Thuật toán: thực hiện các phép tính như cộng các số nhiều chữ số và đảo ngược các chuỗi. Người ta có thể phản đối rằng các nhiệm vụ này dễ đối với máy tính. Thách thức là học các thuật toán này hoàn toàn từ các ví dụ. Các nhiệm vụ này có đặc tính hay là dễ thay đổi độ khó bằng cách thay đổi độ dài chuỗi.

+ Atari: chơi trò chơi Atari cổ điển. Chúng tôi đã tích hợp Môi trường học tập Arcade (có tác động lớn đến nghiên cứu học tăng cường) trong một  dễ dàng cài đặt hình thức.

+ Trò chơi cờ bàn: chơi Đi trên bàn cờ 9x9 và 19x19. Trò chơi hai người chơi về cơ bản khác với các thiết lập khác mà chúng tôi đã đưa vào, vì có một đối thủ chơi với bạn. Trong bản phát hành đầu tiên của chúng tôi, có một đối thủ cố định do  Pachi cung cấp và chúng tôi có thể thêm các đối thủ khác sau này (hoan nghênh các bản vá lỗi!). Chúng tôi cũng có thể sẽ mở rộng OpenAI Gym để có hỗ trợ hạng nhất cho các trò chơi nhiều người chơi.

+ Robot 2D và 3D: điều khiển một robot trong mô phỏng. Các nhiệm vụ này sử dụng  MuJoCo engine vật lý, được thiết kế để mô phỏng robot nhanh và chính xác. Bao gồm một số môi trường từ một chuẩn mực gần đây bởi các nhà nghiên cứu UC Berkeley (những người tình cờ sẽ  tham gia cùng chúng tôi vào mùa hè này). MuJoCo là phần mềm độc quyền, nhưng cung cấp bản dùng thử miễn phí giấy phép.

Theo thời gian, chúng tôi dự định sẽ mở rộng đáng kể bộ sưu tập môi trường này. Chúng tôi rất hoan nghênh sự đóng góp từ cộng đồng.

Mỗi môi trường có một số phiên bản (chẳng hạn như Hopper-v0). Nếu chúng ta cần thay đổi môi trường, chúng ta sẽ tăng số phiên bản, xác định một tác vụ hoàn toàn mới. Điều này đảm bảo rằng kết quả trên một môi trường cụ thể luôn có thể so sánh được.

Chúng tôi đã làm cho việc  tải lên kết quả trở nên dễ dàng đến OpenAI Gym. Tuy nhiên, chúng tôi đã chọn không tạo bảng xếp hạng truyền thống. Điều quan trọng đối với nghiên cứu không phải là điểm số của bạn (có thể áp dụng quá mức hoặc tự tạo giải pháp cho các nhiệm vụ cụ thể), mà là tính tổng quát của kỹ thuật của bạn.

Chúng tôi bắt đầu bằng việc duy trì một  danh sách được quản lý của những đóng góp nói lên điều gì đó thú vị về khả năng của thuật toán. Về lâu dài, chúng tôi muốn quá trình tuyển chọn này là nỗ lực của cộng đồng chứ không phải là thứ do chúng tôi sở hữu. Chúng tôi nhất thiết phải tìm ra các chi tiết theo thời gian và chúng tôi rất mong nhận được  sự giúp đỡ của bạn khi làm như vậy.

• Tài khoản ChatGPT 4 TẠI ĐÂY ưu đãi đặc biệt trong ngày hôm nay!

Chúng tôi muốn OpenAI Gym trở thành một nỗ lực cộng đồng ngay từ đầu. Chúng tôi đã bắt đầu làm việc với các đối tác để tập hợp các nguồn lực xung quanh OpenAI Gym:

+ NVIDIA:  Hỏi & Đáp về kỹ thuật với John.

+ Lo lắng: triển khai  tác nhân DQN OpenAI Gym.

+ Dịch vụ web của Amazon (AWS): Phiếu tín dụng trị giá 250 đô la cho người dùng OpenAI Gym được chọn. Nếu bạn có đánh giá chứng minh được lời hứa về thuật toán của mình và bị hạn chế về nguồn lực để mở rộng quy mô,  hãy nhắn tin cho chúng tôi  để xin phiếu. (Cho đến khi hết hàng!)

Trong giai đoạn beta công khai, chúng tôi đang tìm kiếm phản hồi về cách biến công cụ này thành một công cụ nghiên cứu tốt hơn nữa. Nếu bạn muốn giúp đỡ, bạn có thể thử sức mình trong việc cải thiện tình trạng hiện tại của từng môi trường, tái tạo kết quả của người khác hoặc thậm chí triển khai môi trường của riêng bạn. Ngoài ra, hãy tham gia  trò chuyện cộng đồng với chúng tôi!

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt hấp dẫn