Học mạng nơ-ron thưa thớt thông qua quy tắc hóa L₀

Tóm tắt

Chúng tôi đề xuất một phương pháp thực tế để điều chỉnh chuẩn L₀ cho mạng nơ-ron: cắt tỉa mạng trong quá trình đào tạo bằng cách khuyến khích trọng số trở thành chính xác bằng không. Điều chỉnh như vậy rất thú vị vì nó có thể tăng tốc đáng kể quá trình đào tạo và suy luận, và nó có thể cải thiện khả năng khái quát hóa. AIC và BIC, các tiêu chí lựa chọn mô hình nổi tiếng, là các trường hợp đặc biệt của điều chỉnh L₀. Tuy nhiên, vì chuẩn L₀ của trọng số không thể phân biệt được, nên chúng tôi không thể kết hợp nó trực tiếp như một thuật ngữ điều chỉnh trong hàm mục tiêu. Chúng tôi đề xuất một giải pháp thông qua việc đưa vào một tập hợp các cổng ngẫu nhiên không âm, cùng nhau xác định trọng số nào sẽ được đặt thành không. Chúng tôi chỉ ra rằng, có phần đáng ngạc nhiên, đối với một số phân phối nhất định trên các cổng, chuẩn L₀ dự kiến ​​của các trọng số có cổng kết quả là có thể phân biệt được đối với các tham số phân phối. Chúng tôi đề xuất thêm phân phối bê tông cứng cho các cổng, được thu được bằng cách "kéo dài" một phân phối bê tông nhị phân và sau đó biến đổi các mẫu của nó bằng một sigmoid cứng. Các tham số của phân phối qua các cổng sau đó có thể được tối ưu hóa chung với các tham số mạng ban đầu. Kết quả là phương pháp của chúng tôi cho phép học các cấu trúc mô hình một cách đơn giản và hiệu quả với độ dốc ngẫu nhiên giảm dần và cho phép tính toán có điều kiện theo cách có nguyên tắc. Chúng tôi thực hiện nhiều thí nghiệm khác nhau để chứng minh hiệu quả của phương pháp tiếp cận và bộ điều chỉnh kết quả.

Xem thêm: mua tài khoản ChatGPT 4 và tài khoản ChatGPT Plus với nhiều ưu đãi đặc biệt