Đánh giá các mô hình ngôn ngữ lớn được đào tạo trên mã

Tóm tắt

Chúng tôi giới thiệu Codex, một mô hình ngôn ngữ tài khoản ChatGPT 4 được tinh chỉnh trên mã có sẵn công khai từ GitHub và nghiên cứu khả năng viết mã Python của nó. Một phiên bản sản xuất riêng biệt của Codex cung cấp năng lượng cho GitHub Copilot. Trên HumanEval, một bộ đánh giá mới mà chúng tôi phát hành để đo độ chính xác về mặt chức năng để tổng hợp các chương trình từ chuỗi docstring, mô hình của chúng tôi giải quyết được 28,8% các vấn đề, trong khi GPT-3 giải quyết được 0% và GPT-J giải quyết được 11,4%. Hơn nữa, chúng tôi thấy rằng việc lấy mẫu lặp lại từ mô hình là một chiến lược hiệu quả đáng ngạc nhiên để tạo ra các giải pháp khả thi cho các lời nhắc khó. Sử dụng phương pháp này, chúng tôi giải quyết được 70,2% các vấn đề của mình với 100 mẫu cho mỗi vấn đề. Việc điều tra cẩn thận mô hình của chúng tôi cho thấy những hạn chế của nó, bao gồm khó khăn với chuỗi docstring mô tả chuỗi hoạt động dài và với các hoạt động liên kết với các biến. Cuối cùng, chúng tôi thảo luận về những tác động rộng hơn tiềm ẩn của việc triển khai các công nghệ tạo mã mạnh mẽ, bao gồm an toàn, bảo mật và kinh tế.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt