Bộ mã hóa tự động mất mát biến thiên

Tóm tắt

Học biểu diễn tìm cách phơi bày một số khía cạnh nhất định của dữ liệu quan sát được trong một biểu diễn đã học có thể thực hiện được các tác vụ hạ nguồn như phân loại. Ví dụ, một biểu diễn tốt cho hình ảnh 2D có thể là biểu diễn chỉ mô tả cấu trúc toàn cục và loại bỏ thông tin về kết cấu chi tiết. Trong bài báo này, chúng tôi trình bày một phương pháp đơn giản nhưng có nguyên tắc để học các biểu diễn toàn cục như vậy bằng cách kết hợp Bộ mã hóa tự động biến thiên (VAE) với các mô hình tự hồi quy thần kinh như RNN, MADE và PixelRNN/CNN. Mô hình VAE được đề xuất của chúng tôi cho phép chúng tôi kiểm soát những gì mã tiềm ẩn toàn cục có thể học và bằng cách thiết kế kiến ​​trúc phù hợp, chúng tôi có thể buộc mã tiềm ẩn toàn cục loại bỏ thông tin không liên quan như kết cấu trong hình ảnh 2D và do đó VAE chỉ "tự động mã hóa" dữ liệu theo cách mất dữ liệu. Ngoài ra, bằng cách tận dụng các mô hình hồi quy tự động làm cả phân phối trước p(z) và phân phối giải mã p(x|z), chúng ta có thể cải thiện đáng kể hiệu suất mô hình hóa tạo ra của VAE, đạt được kết quả tiên tiến mới trên các tác vụ ước tính mật độ MNIST, OMNIGLOT và Caltech-101 Silhouettes.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ