Kỹ thuật cải tiến để đào tạo mô hình nhất quán

• Tài khoản ChatGPT 4 tại đây với nhiều ưu đãi hấp dẫn!

Các mô hình nhất quán là một họ mô hình sinh mới có thể lấy mẫu dữ liệu chất lượng cao trong một bước mà không cần đào tạo đối nghịch. Các mô hình nhất quán hiện tại đạt được chất lượng mẫu tối ưu bằng cách chưng cất từ ​​các mô hình khuếch tán được đào tạo trước và sử dụng các số liệu đã học như LPIPS. Tuy nhiên, chưng cất giới hạn chất lượng của các mô hình nhất quán ở mức của mô hình khuếch tán được đào tạo trước và LPIPS gây ra sai lệch không mong muốn trong quá trình đánh giá. Để giải quyết những thách thức này, chúng tôi trình bày các kỹ thuật cải tiến để đào tạo nhất quán, trong đó các mô hình nhất quán học trực tiếp từ dữ liệu mà không cần chưng cất. Chúng tôi đi sâu vào lý thuyết đằng sau đào tạo nhất quán và xác định một lỗi trước đây bị bỏ qua, chúng tôi giải quyết bằng cách loại bỏ Trung bình động theo hàm mũ khỏi mô hình nhất quán của giáo viên. Để thay thế các số liệu đã học như LPIPS, chúng tôi áp dụng các tổn thất Pseudo-Huber từ các số liệu thống kê mạnh mẽ. Ngoài ra, chúng tôi giới thiệu một lịch trình nhiễu lognormal cho mục tiêu đào tạo nhất quán và đề xuất tăng gấp đôi tổng số bước rời rạc sau mỗi số lần lặp đào tạo. Kết hợp với việc điều chỉnh siêu tham số tốt hơn, những sửa đổi này cho phép các mô hình nhất quán đạt được điểm FID lần lượt là 2,51 và 3,25 trên CIFAR-10 và ImageNet 64×64 trong một bước lấy mẫu duy nhất. Những điểm số này đánh dấu sự cải thiện 3,5× và 4× so với các phương pháp đào tạo nhất quán trước đây. Thông qua lấy mẫu hai bước, chúng tôi tiếp tục giảm điểm FID xuống còn 2,24 và 2,77 trên hai tập dữ liệu này, vượt qua những điểm thu được thông qua chưng cất trong cả cài đặt một bước và hai bước, đồng thời thu hẹp khoảng cách giữa các mô hình nhất quán và các mô hình tạo ra tiên tiến khác.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ!