Cơ sở hạ tầng cho việc học sâu

Học sâu là một khoa học thực nghiệm và chất lượng cơ sở hạ tầng của một nhóm là hệ số nhân của tiến trình. May mắn thay, hệ sinh thái nguồn mở ngày nay giúp bất kỳ ai cũng có thể xây dựng cơ sở hạ tầng học sâu tuyệt vời.

Bản tóm tắt

Trong bài đăng này, chúng tôi sẽ chia sẻ cách nghiên cứu học sâu thường diễn ra, mô tả các lựa chọn cơ sở hạ tầng mà chúng tôi đã thực hiện để hỗ trợ nó và mã nguồn mở  kubernetes-ec2-autoscaler, một trình quản lý mở rộng được tối ưu hóa theo lô cho Kubernetes. Chúng tôi hy vọng bạn thấy bài đăng này hữu ích trong việc xây dựng cơ sở hạ tầng học sâu của riêng bạn.

Một tiến bộ học sâu điển hình bắt đầu như một ý tưởng, mà bạn thử nghiệm trên một vấn đề nhỏ. Ở giai đoạn này, bạn muốn chạy nhiều thử nghiệm ad-hoc một cách nhanh chóng. Lý tưởng nhất là bạn có thể chỉ cần SSH vào một máy, chạy một tập lệnh trên màn hình và nhận được kết quả trong vòng chưa đầy một giờ.

Để mô hình thực sự hoạt động, thông thường bạn phải chứng kiến ​​mô hình thất bại theo mọi cách có thể và tìm cách khắc phục những hạn chế đó. (Điều này tương tự như việc xây dựng bất kỳ hệ thống phần mềm mới nào, trong đó bạn sẽ chạy mã của mình nhiều lần để xây dựng trực giác về cách thức hoạt động của nó.)

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ!

Vì vậy, cơ sở hạ tầng học sâu phải cho phép người dùng linh hoạt tự xem xét các mô hình và chỉ đưa ra số liệu thống kê tóm tắt là không đủ.

Khi mô hình cho thấy đủ hứa hẹn, bạn sẽ mở rộng nó lên các tập dữ liệu lớn hơn và nhiều GPU hơn. Điều này đòi hỏi các công việc dài, tiêu tốn nhiều chu kỳ và kéo dài trong nhiều ngày. Bạn sẽ cần quản lý thử nghiệm cẩn thận và cực kỳ chu đáo về phạm vi siêu tham số đã chọn.

Quá trình nghiên cứu ban đầu không có cấu trúc và diễn ra nhanh chóng; quá trình sau thì có phương pháp và hơi đau đớn, nhưng tất cả đều hoàn toàn cần thiết để có được kết quả tuyệt vời.

Bài báo  Kỹ thuật cải tiến để đào tạo GAN bắt đầu với  Tim Salimans đưa ra một số ý tưởng để cải thiện  việc đào tạo Mạng đối nghịch tạo sinh. Chúng tôi sẽ mô tả ý tưởng đơn giản nhất trong số những ý tưởng này (ý tưởng này tình cờ tạo ra các mẫu đẹp nhất, mặc dù không phải là học bán giám sát tốt nhất).

GAN bao gồm một máy phát điện và một mạng phân biệt. Máy phát điện cố gắng đánh lừa máy phân biệt, và máy phân biệt cố gắng phân biệt giữa dữ liệu được tạo ra và dữ liệu thực. Theo trực giác, một máy phát điện có thể đánh lừa mọi máy phân biệt là khá tốt. Nhưng có một chế độ lỗi khó sửa: máy phát điện có thể "sụp đổ" bằng cách luôn đưa ra cùng một mẫu chính xác (có thể trông giống thật!).

Tim đã có ý tưởng cung cấp cho discriminator toàn bộ một  lô nhỏ của các mẫu làm đầu vào, thay vì chỉ một mẫu. Do đó, bộ phân biệt có thể cho biết liệu máy phát có liên tục tạo ra một hình ảnh duy nhất hay không. Khi phát hiện ra sự sụp đổ, các gradient sẽ được gửi đến máy phát để khắc phục sự cố.

Bước tiếp theo là tạo nguyên mẫu ý tưởng trên  MNIST và CIFAR-10ư. Điều này đòi hỏi phải tạo mẫu một mô hình nhỏ càng nhanh càng tốt, chạy nó trên dữ liệu thực và kiểm tra kết quả. Sau một số lần lặp lại nhanh chóng, Tim đã có được  các mẫu CIFAR-10 rất đáng khích lệ =—đây thực sự là những mẫu tốt nhất mà chúng tôi từng thấy trong tập dữ liệu này.

Tuy nhiên, học sâu (và các thuật toán AI nói chung) phải được mở rộng để thực sự gây ấn tượng—một mạng nơ-ron nhỏ là bằng chứng về khái niệm, nhưng một mạng nơ-ron lớn thực sự giải quyết được vấn đề và hữu ích. Vì vậy,  Ian Goodfellow đào sâu vào việc mở rộng mô hình để làm việc trên  ImageNet.

Với mô hình và tập dữ liệu lớn hơn, Ian cần song song hóa mô hình trên nhiều GPU. Mỗi công việc sẽ đẩy nhiều máy lên mức sử dụng CPU và GPU là 90%, nhưng ngay cả khi đó, mô hình vẫn mất nhiều ngày để đào tạo. Trong chế độ này, mọi thử nghiệm đều trở nên quý giá và anh ấy sẽ ghi lại kết quả của từng thử nghiệm một cách tỉ mỉ.

Cuối cùng, mặc dù kết quả tốt, nhưng chúng không tốt như chúng tôi hy vọng. Chúng tôi đã thử nghiệm nhiều giả thuyết về lý do tại sao, nhưng vẫn chưa giải quyết được. Đó là bản chất của khoa học.