Chuẩn hóa trọng số: Một tham số hóa đơn giản để tăng tốc quá trình đào tạo mạng nơ-ron sâu

Tóm tắt

Chúng tôi trình bày về chuẩn hóa trọng số: tham số hóa lại các vectơ trọng số trong mạng nơ-ron tách rời độ dài của các vectơ trọng số đó khỏi hướng của chúng. Bằng cách tham số hóa lại các trọng số theo cách này, chúng tôi cải thiện điều kiện của bài toán tối ưu hóa và chúng tôi tăng tốc độ hội tụ của quá trình giảm dần độ dốc ngẫu nhiên. Tham số hóa lại của chúng tôi lấy cảm hứng từ chuẩn hóa theo lô nhưng không đưa ra bất kỳ sự phụ thuộc nào giữa các ví dụ trong một lô nhỏ. Điều này có nghĩa là phương pháp của chúng tôi cũng có thể được áp dụng thành công cho các mô hình hồi quy như LSTM và cho các ứng dụng nhạy cảm với nhiễu như học tăng cường sâu hoặc các mô hình tạo, trong đó chuẩn hóa theo lô không phù hợp lắm. Mặc dù phương pháp của chúng tôi đơn giản hơn nhiều, nhưng nó vẫn cung cấp nhiều tốc độ hơn so với chuẩn hóa theo lô đầy đủ. Ngoài ra, chi phí tính toán của phương pháp của chúng tôi thấp hơn, cho phép thực hiện nhiều bước tối ưu hóa hơn trong cùng một khoảng thời gian. Chúng tôi chứng minh tính hữu ích của phương pháp của mình trên các ứng dụng trong nhận dạng hình ảnh có giám sát, mô hình tạo và học tăng cường sâu.

Xem thêm: mua tài khoản ChatGPT 4 chính hãng giá rẻ