PixelCNN++: Cải thiện PixelCNN với khả năng kết hợp logistic rời rạc và các sửa đổi khác

Tóm tắt

PixelCNN là một lớp mô hình sinh sản mạnh mẽ được đề xuất gần đây với khả năng có thể xử lý được. Ở đây chúng tôi thảo luận về việc triển khai PixelCNN mà chúng tôi cung cấp tại  URL https này. Việc triển khai của chúng tôi bao gồm một số sửa đổi đối với mô hình gốc giúp đơn giản hóa cấu trúc và cải thiện hiệu suất của mô hình.

1) Chúng tôi sử dụng khả năng hỗn hợp logistic rời rạc trên các pixel, thay vì softmax 256 chiều, mà chúng tôi thấy giúp tăng tốc quá trình đào tạo.

2) Chúng tôi điều kiện hóa trên toàn bộ pixel, thay vì các pixel phụ R/G/B, giúp đơn giản hóa cấu trúc mô hình.

3) Chúng tôi sử dụng downsampling để nắm bắt hiệu quả cấu trúc ở nhiều độ phân giải.

4) Chúng tôi giới thiệu các kết nối tắt bổ sung để tăng tốc quá trình tối ưu hóa hơn nữa.

5) Chúng tôi điều chỉnh mô hình bằng cách sử dụng dropout. Cuối cùng, chúng tôi trình bày kết quả log likelihood hiện đại trên CIFAR-10 để chứng minh tính hữu ích của những sửa đổi này.

Xem thêm: mua tài khoản ChatGPT Plus và tài khoản ChatGPT 4 chính hãng giá rẻ