Quay vòng trong thế giới thực sâu: Đánh giá hội thảo

Một trong những mục tiêu giáo dục tại OpenAI là giúp mọi người phát triển các kỹ năng cần thiết để tham gia nghiên cứu và phát triển AI—đặc biệt là trong RL sâu, một lĩnh vực nghiên cứu cốt lõi tại OpenAI. Từ kinh nghiệm làm việc với các Học giả (mở trong cửa sổ mới) và các thành viên (mở trong cửa sổ mới), chúng tôi nhận thấy rằng các thành phần chính để phát triển kỹ năng là:

+ một chương trình giảng dạy linh hoạt bao gồm tài liệu cốt lõi và đánh giá các ranh giới nghiên cứu,

+ cố vấn và thảo luận với các chuyên gia, và

+ để học sinh thực hiện các dự án ở đúng trình độ giúp các em phát triển.

Thách thức đối với giáo dục tại OpenAI là tìm ra cách cung cấp những điều này ở quy mô lớn. Mặc dù việc chia sẻ chương trình giảng dạy ở quy mô lớn tương đối dễ dàng, nhưng không rõ ràng về cách mở rộng hoạt động cố vấn và hướng dẫn cho các dự án. Lý thuyết làm việc của chúng tôi là các hội thảo có thể giúp chúng tôi thực hiện điều đó. Hội thảo Spinning Up đầu tiên của chúng tôi đã mang lại cho chúng tôi một số dấu hiệu tích cực cho thấy đây là một hướng đi hữu ích và chúng tôi rất vui khi được chia sẻ những gì chúng tôi đã học được.

Đám đông

Chúng tôi đã tiếp đón khoảng 90 người tại văn phòng của mình và thu hút thêm gần 300 người nữa thông qua buổi phát trực tiếp của chúng tôi. Khách của chúng tôi đến từ nhiều nền tảng khác nhau, bao gồm nghiên cứu học thuật, kỹ thuật phần mềm, khoa học dữ liệu, kỹ thuật ML, y học và giáo dục. Mức độ trải nghiệm ML thay đổi khá đáng kể trong nhóm, từ "gần như không có" đến "tự xây dựng bot Dota!"

Trong tay tài khoản ChatGPT 4 chỉ với vài bước đơn giản

Hơn 500 người từ khắp nơi trên thế giới đã đăng ký tham gia hội thảo này. Mặc dù chúng tôi rất tiếc không thể mời tất cả mọi người tham gia vì hạn chế về không gian, chúng tôi muốn tiếp tục thu hút cộng đồng bằng các sự kiện trong tương lai.

Các cuộc nói chuyện

Buổi hội thảo bắt đầu với ba giờ nói chuyện. Để bắt đầu, Joshua Achiam (mở trong cửa sổ mới) đã trình bày nền tảng khái niệm của việc học tăng cường và đưa ra tổng quan về các loại thuật toán RL khác nhau. Nếu bạn muốn nghiên cứu tài liệu này, hãy xem Spinning Up in Deep RL(mở trong cửa sổ mới).

Matthias Plappert đã trình bày về OpenAI gần đây (mở trong cửa sổ mới) công việc(mở trong cửa sổ mới) đào tạo một bàn tay robot khéo léo trong mô phỏng để thao tác các vật thể trong thế giới thực. Ngẫu nhiên hóa miền, mạng nơ-ron hồi quy và đào tạo phân tán quy mô lớn là những thành phần cần thiết để thu hẹp khoảng cách “sim2real” cho nhiệm vụ này.

Dario Amodei, người đứng đầu Nhóm an toàn tại OpenAI, đã trình bày tổng quan về các vấn đề trong an toàn AI và gần đây (mở trong cửa sổ mới) công việc(mở trong cửa sổ mới) trong không gian này. Ông đã mô tả vấn đề an toàn cốt lõi: thực tế là việc chỉ định chính xác hành vi của tác nhân là rất khó! Thật dễ dàng để vô tình tạo cho các tác nhân động cơ thực hiện hành vi khác với những gì bạn mong muốn và khi các tác nhân rất mạnh, điều này có thể nguy hiểm. Dario cũng mô tả công việc (mở trong cửa sổ mới) mà OpenAI và các cộng sự tại DeepMind đã thực hiện để giải quyết vấn đề này, trong đó các hàm phần thưởng được học từ sở thích của con người thay vì được thiết kế.

Buổi chiều

Buổi hội thảo tiếp tục vào buổi chiều với chương trình bán cấu trúc về hack và các phiên thảo luận nhóm. Những người tham gia có thể tìm kiếm sự hướng dẫn về ý tưởng dự án và mẹo nghiên cứu từ nhóm tình nguyện viên của chúng tôi, bao gồm Amanda Askell (mở trong cửa sổ mới), Alex Ray (mở trong cửa sổ mới), Daniel Ziegler (mở trong cửa sổ mới), Dylan Hadfield-Menell (mở trong cửa sổ mới), Hiệp sĩ Ethan (mở trong cửa sổ mới), Karl Cobbe (mở trong cửa sổ mới), Matthias Plappert (mở trong cửa sổ mới)và Sam McCandlish (mở trong cửa sổ mới).

Các phiên thảo luận nhóm hóa ra là điểm nhấn chính của buổi chiều. Trong khi các buổi nói chuyện buổi sáng đề cập đến nền tảng khái niệm của RL, các phiên thảo luận nhóm được thiết kế để giúp người tham gia nâng cao kỹ năng thực hiện và nghiên cứu của họ.

Trong buổi đầu tiên, Karl Cobbe đã giới thiệu về TensorFlow (mở trong cửa sổ mới), một thư viện chính được sử dụng trong nghiên cứu học sâu. Trong phiên thứ hai, “Viết DQN cùng nhau”, Daniel Ziegler đã hướng dẫn người tham gia từng bước trong quá trình triển khai thuật toán RL sâu. Trong phiên thứ ba, “Hỏi & Đáp RL nâng cao”, Joshua Achiam đã mô tả các ranh giới nghiên cứu gần đây trong RL và trả lời các câu hỏi của khán giả về việc thực hiện nghiên cứu RL.

Những điều chúng tôi rút ra

Đây là lần đầu tiên chúng tôi thử nghiệm định dạng hội thảo và chúng tôi nhìn chung hài lòng với kết quả. Đặc biệt, chúng tôi thấy khá hài lòng khi được làm việc trực tiếp với một nhóm người tham gia có năng lực và nhiệt tình như vậy. Trải nghiệm này cùng với phản hồi từ nhóm đã giúp chúng tôi có được cảm nhận tốt về những gì cần giữ lại và những gì cần thay đổi cho các hội thảo trong tương lai.

Điều gì hiệu quả : Chúng tôi đã hỏi những người tham gia về điểm nổi bật của họ và những câu trả lời sau đây là một mẫu khá tiêu biểu:

“Học RẤT NHIỀU trong một môi trường rất an toàn, thân thiện, nơi mọi người đều có trình độ học tập ngang nhau.”

“Tôi nghĩ khả năng nhận được sự giúp đỡ trực tiếp và dành thời gian 'lập trình theo cặp' với những người thực sự biết họ đang làm gì là vô cùng hữu ích. Sự nhiệt tình của các tình nguyện viên cũng rất cao, và tôi cảm thấy rất được khuyến khích để yêu cầu giúp đỡ.”

Những phản hồi như thế này khiến chúng tôi cảm thấy rằng hình thức hội thảo này tập trung vào việc cung cấp “sự cố vấn và thảo luận với các chuyên gia”.

Điều gì có thể cải thiện : Chúng tôi đã hỏi những người tham gia rằng họ nghĩ chúng tôi có thể làm gì khác đi để nâng cao trải nghiệm của họ và nhận được những phản hồi như sau:

“Tôi muốn có phần trình bày về các dự án tiềm năng mà chúng tôi có thể theo đuổi dựa trên trình độ kinh nghiệm của mình.”

“Kéo dài hội thảo thêm hai ngày.”

Nhiều người tham gia cảm thấy họ không biết phải làm gì trong cuộc thi hackathon hoặc không có đủ thời gian để đạt được tiến triển đáng kể trong dự án hack của mình.

Chúng tôi cho rằng loại phản hồi này là một chỉ báo tốt cho thấy định dạng hội thảo 1 ngày không đủ để "giúp học sinh làm việc trên các dự án ở đúng trình độ giúp các em phát triển" trong RL. Trong tương lai, chúng tôi sẽ cân nhắc tổ chức các sự kiện dài hơn để có thể đạt được mục tiêu đó. Phản hồi này cũng cho thấy rằng chúng tôi nên làm nhiều hơn nữa để tạo ra các dự án RL "sẵn sàng" mà người tham gia có thể tham gia ngay.

Còn gì nữa? Bên cạnh nội dung kỹ thuật của hội thảo, việc tạo ra một môi trường hỗ trợ và hòa nhập là điều quan trọng nhất đối với chúng tôi, và những người tham gia cho biết điều này rất quan trọng đối với trải nghiệm của họ. Một phản hồi như sau:

“Đây là sự kiện xã hội đầu tiên không dành riêng cho phụ nữ mà tôi tham dự ở Thung lũng Silicon với khoảng 50% là phụ nữ trong phòng. Thật sốc khi tôi nghĩ rằng mình đã vào nhầm phòng lúc đầu. Rõ ràng là dễ dàng hơn nhiều để giao lưu vì có sự cân bằng giới tính, vì vậy cảm ơn bạn vì điều đó.”

Tiếp theo là gì

Hiến chương của OpenAI (mở trong cửa sổ mới) trao cho chúng tôi nhiệm vụ “tạo ra một cộng đồng toàn cầu cùng nhau giải quyết các thách thức toàn cầu của AGI” và chúng tôi sẽ tiếp tục phát triển giáo dục tại OpenAI để giúp phục vụ mục tiêu đó. Điều này bao gồm nhiều công việc hơn về các nguồn lực như Spinning Up in Deep RL(mở trong cửa sổ mới) và nhiều sự kiện khác như Hội thảo Spinning Up này. Hiện tại chúng tôi đang lên kế hoạch cho hội thảo thứ hai với CHAI tại Berkeley (mở trong cửa sổ mới), chúng tôi hy vọng sẽ sớm công bố chính thức.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ