Lên kế hoạch trực tuyến, học ngoại tuyến: Học tập và khám phá hiệu quả thông qua kiểm soát dựa trên mô hình

Tóm tắt

Chúng tôi đề xuất một khuôn khổ học trực tuyến và ngoại tuyến (POLO) cho bối cảnh mà một tác nhân, với một mô hình nội bộ, cần phải liên tục hành động và học hỏi trên thế giới. Công trình của chúng tôi xây dựng trên mối quan hệ hiệp đồng giữa kiểm soát dựa trên mô hình cục bộ, học hàm giá trị toàn cục và khám phá. Chúng tôi nghiên cứu cách tối ưu hóa quỹ đạo cục bộ có thể đối phó với các lỗi xấp xỉ trong hàm giá trị và có thể ổn định và tăng tốc quá trình học hàm giá trị. Ngược lại, chúng tôi cũng nghiên cứu cách các hàm giá trị xấp xỉ có thể giúp thu hẹp đường chân trời lập kế hoạch và cho phép các chính sách tốt hơn vượt ra ngoài các giải pháp cục bộ. Cuối cùng, chúng tôi cũng chứng minh cách tối ưu hóa quỹ đạo có thể được sử dụng để thực hiện khám phá được phối hợp theo thời gian kết hợp với việc ước tính sự không chắc chắn trong xấp xỉ hàm giá trị. Khám phá này rất quan trọng để học nhanh và ổn định hàm giá trị. Việc kết hợp các thành phần này cho phép giải quyết các nhiệm vụ kiểm soát mô phỏng phức tạp, như chuyển động giống người và thao tác khéo léo bằng tay, tương đương với một vài phút kinh nghiệm trong thế giới thực.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt