Chuyển từ mô phỏng sang thế giới thực thông qua việc học mô hình động lực học ngược sâu

Tóm tắt

Phát triển các chính sách kiểm soát trong mô phỏng thường thực tế và an toàn hơn so với việc chạy trực tiếp các thí nghiệm trong thế giới thực. Điều này áp dụng cho các chính sách thu được từ quá trình lập kế hoạch và tối ưu hóa, và thậm chí còn áp dụng hơn cho các chính sách thu được từ quá trình học tăng cường, thường đòi hỏi rất nhiều dữ liệu. Tuy nhiên, một chính sách thành công trong mô phỏng thường không hiệu quả khi triển khai trên một rô-bốt thực. Tuy nhiên, thường thì bản chất chung của chính sách trong mô phỏng vẫn hợp lệ trong thế giới thực. Trong bài báo này, chúng tôi nghiên cứu các thiết lập như vậy, trong đó trình tự các trạng thái được truyền qua trong mô phỏng vẫn hợp lý đối với thế giới thực, ngay cả khi các chi tiết của các điều khiển không hợp lý, như trường hợp có thể xảy ra khi các điểm khác biệt chính nằm ở các đặc tính ma sát, tiếp xúc, khối lượng và hình học chi tiết. Trong quá trình thực hiện, tại mỗi bước thời gian, phương pháp tiếp cận của chúng tôi tính toán chính sách kiểm soát dựa trên mô phỏng sẽ thực hiện như thế nào, nhưng sau đó, thay vì thực hiện các điều khiển này trên rô-bốt thực, phương pháp tiếp cận của chúng tôi tính toán những gì mô phỏng mong đợi ở trạng thái tiếp theo sẽ là gì, sau đó dựa vào mô hình động lực học nghịch đảo sâu đã học để quyết định hành động nào trong thế giới thực là phù hợp nhất để đạt được các trạng thái tiếp theo đó. Các mô hình sâu chỉ tốt bằng dữ liệu đào tạo của chúng và chúng tôi cũng đề xuất một phương pháp thu thập dữ liệu để (tăng dần) học mô hình động lực học nghịch đảo sâu. Các thí nghiệm của chúng tôi cho thấy phương pháp của chúng tôi so sánh thuận lợi với nhiều đường cơ sở khác nhau đã được phát triển để xử lý sự khác biệt giữa mô phỏng và mô hình thế giới thực, bao gồm kiểm soát lỗi đầu ra và điều chỉnh động lực học Gaussian.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt trong ngày hôm nay