Mở rộng và hạn chế của GPU thần kinh

Tóm tắt

• Tài khoản ChatGTP 4 và tài khoản ChatGPT Plus TẠI ĐÂY với nhiều ưu đãi hấp dẫn

Neural GPU là một mô hình gần đây có thể học các thuật toán như phép cộng nhị phân nhiều chữ số và phép nhân nhị phân theo cách tổng quát hóa thành các đầu vào có độ dài tùy ý. Chúng tôi chỉ ra rằng có hai cách đơn giản để cải thiện hiệu suất của Neural GPU: bằng cách thiết kế cẩn thận một chương trình giảng dạy và bằng cách tăng kích thước mô hình. Cách sau đòi hỏi phải triển khai hiệu quả bộ nhớ, vì một triển khai ngây thơ của Neural GPU đòi hỏi nhiều bộ nhớ. Chúng tôi thấy rằng các kỹ thuật này làm tăng tập hợp các vấn đề thuật toán có thể được Neural GPU giải quyết: chúng tôi đã có thể học cách thực hiện tất cả các phép toán số học (và tổng quát hóa thành các số dài tùy ý) khi các đối số được đưa ra dưới dạng biểu diễn thập phân (điều này, đáng ngạc nhiên là trước đây không thể thực hiện được). Chúng tôi cũng có thể đào tạo Neural GPU để đánh giá các biểu thức số học dài với nhiều toán hạng đòi hỏi phải tôn trọng thứ tự ưu tiên của các toán hạng, mặc dù chúng chỉ thành công trong biểu diễn nhị phân của chúng và không có độ chính xác hoàn hảo. Ngoài ra, chúng tôi có được cái nhìn sâu sắc về Neural GPU bằng cách điều tra các chế độ lỗi của nó. Chúng tôi thấy rằng GPU thần kinh tổng quát hóa chính xác thành các số dài tùy ý vẫn không tính toán được câu trả lời đúng trên các đầu vào có tính đối xứng cao, không điển hình: ví dụ, GPU thần kinh đạt được khả năng tổng quát hóa gần như hoàn hảo khi nhân thập phân các số dài tới 100 chữ số có thể không thành công ở phép nhân 000000…002×000000…002 trong khi thành công ở phép nhân 2×2. Các chế độ lỗi này gợi nhớ đến các ví dụ đối nghịch.