Robot học hỏi

Tháng trước, chúng tôi đã trình bày  phiên bản trước đó của robot này nơi chúng tôi đã đào tạo hệ thống thị giác của nó bằng cách sử dụng  ngẫu nhiên miền, nghĩa là bằng cách hiển thị các vật thể mô phỏng với nhiều màu sắc, hình nền và họa tiết khác nhau mà không sử dụng bất kỳ hình ảnh thực tế nào.

Bây giờ, chúng tôi đã phát triển và triển khai một thuật toán mới,  học bắt chước một lần, cho phép con người giao tiếp cách thực hiện một nhiệm vụ mới bằng cách thực hiện nó trong VR. Chỉ cần một lần trình diễn, robot có thể giải quyết cùng một nhiệm vụ từ một cấu hình bắt đầu tùy ý.

Mạng lưới mô phỏng quan sát một cuộc trình diễn, xử lý nó để suy ra ý định của nhiệm vụ, và sau đó hoàn thành ý định bắt đầu từ một cấu hình bắt đầu khác. Do đó, mạng lưới mô phỏng phải khái quát hóa cuộc trình diễn thành một thiết lập mới. Nhưng mạng lưới mô phỏng biết cách khái quát hóa như thế nào?

Mạng học được điều này từ việc phân phối các ví dụ đào tạo. Nó được đào tạo trên hàng chục nhiệm vụ khác nhau với hàng nghìn lần trình diễn cho mỗi nhiệm vụ. Mỗi ví dụ đào tạo là một cặp trình diễn thực hiện cùng một nhiệm vụ. Mạng được cung cấp toàn bộ lần trình diễn đầu tiên và một quan sát duy nhất từ ​​lần trình diễn thứ hai. Sau đó, chúng tôi sử dụng học có giám sát để dự đoán hành động mà người trình diễn thực hiện khi quan sát. Để dự đoán hành động một cách hiệu quả, robot phải học cách suy ra phần có liên quan của nhiệm vụ từ lần trình diễn đầu tiên.

Áp dụng cho việc xếp chồng khối, dữ liệu đào tạo bao gồm các cặp quỹ đạo xếp chồng các khối thành một tập hợp các tòa tháp phù hợp theo cùng thứ tự, nhưng bắt đầu từ các trạng thái bắt đầu khác nhau. Theo cách này, mạng mô phỏng học cách khớp với thứ tự các khối và kích thước của các tòa tháp của người trình diễn mà không cần quan tâm đến vị trí tương đối của các tòa tháp.

Nhiệm vụ tạo các chồng khối được mã hóa màu đủ đơn giản để chúng tôi có thể giải quyết bằng chính sách theo kịch bản trong mô phỏng. Chúng tôi đã sử dụng chính sách theo kịch bản để tạo dữ liệu đào tạo cho mạng mô phỏng. Vào thời điểm thử nghiệm, mạng mô phỏng có thể phân tích các bản trình diễn do con người tạo ra, mặc dù trước đây nó chưa từng thấy dữ liệu lộn xộn của con người.

Mạng lưới bắt chước sử dụng  sự chú ý nhẹ nhàng trên quỹ đạo trình diễn và vectơ trạng thái biểu diễn vị trí của các khối, cho phép hệ thống làm việc với các bản trình diễn có độ dài thay đổi. Nó cũng thực hiện chú ý đến vị trí của các khối khác nhau, cho phép nó bắt chước các quỹ đạo dài hơn bao giờ hết và xếp chồng các khối thành một cấu hình có nhiều khối hơn bất kỳ bản trình diễn nào trong dữ liệu đào tạo của nó.

Để mạng mô phỏng học được một chính sách mạnh mẽ, chúng tôi phải đưa một lượng nhiễu vừa phải vào đầu ra của chính sách theo kịch bản. Điều này buộc chính sách theo kịch bản phải chứng minh cách phục hồi khi mọi thứ trở nên tồi tệ, điều này dạy cho mạng mô phỏng cách xử lý nhiễu từ một chính sách không hoàn hảo. Nếu không đưa nhiễu vào, chính sách mà mạng mô phỏng học được thường sẽ không hoàn thành được nhiệm vụ xếp chồng.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ!