AI và tính toán

Ba yếu tố thúc đẩy sự tiến bộ của AI: đổi mới thuật toán, dữ liệu (có thể là dữ liệu được giám sát hoặc môi trường tương tác) và lượng tính toán có sẵn để đào tạo. Đổi mới thuật toán và dữ liệu rất khó theo dõi, nhưng tính toán lại có thể định lượng được một cách bất thường, tạo cơ hội để đo lường một đầu vào cho tiến trình AI. Tất nhiên, việc sử dụng tính toán lớn đôi khi chỉ làm lộ ra những thiếu sót của các thuật toán hiện tại của chúng ta. Nhưng ít nhất trong nhiều lĩnh vực hiện tại, tính toán nhiều hơn dường như dẫn  đến hiệu suất tốt hơn một cách có thể dự đoán được (mở trong cửa sổ mới)và thường bổ sung cho những tiến bộ về thuật toán.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ

Đối với phân tích này, chúng tôi tin rằng con số có liên quan không phải là tốc độ của một GPU đơn lẻ, cũng không phải là dung lượng của trung tâm dữ liệu lớn nhất, mà là lượng tính toán được sử dụng để đào tạo một mô hình duy nhất—đây là con số có khả năng tương quan nhất với mức độ mạnh mẽ của các mô hình tốt nhất của chúng tôi. Tính toán trên mỗi mô hình khác rất nhiều so với tổng tính toán khối lượng lớn vì  giới hạn về tính song song(mở trong cửa sổ mới) (cả phần cứng và thuật toán) đã hạn chế mức độ lớn của một mô hình hoặc mức độ có thể được đào tạo hữu ích. Tất nhiên, những đột phá quan trọng vẫn được thực hiện với  lượng tính toán khiêm tốn  —phân tích này chỉ đề cập đến khả năng tính toán.

Xu hướng này thể hiện sự gia tăng khoảng 10 lần mỗi năm. Một phần là do phần cứng tùy chỉnh cho phép thực hiện nhiều thao tác hơn mỗi giây với một mức giá nhất định (GPU và TPU), nhưng chủ yếu là do các nhà nghiên cứu liên tục tìm ra cách sử dụng nhiều chip song song hơn và sẵn sàng trả chi phí kinh tế để làm như vậy.

Nhìn vào biểu đồ, chúng ta có thể thấy sơ bộ bốn thời đại riêng biệt:

+ Trước năm 2012: Việc sử dụng GPU cho ML là không phổ biến, khiến cho việc đạt được bất kỳ kết quả nào trên biểu đồ trở nên khó khăn.

+ 2012 đến 2014: Cơ sở hạ tầng để đào tạo trên nhiều GPU còn chưa phổ biến, vì vậy hầu hết các kết quả đều sử dụng 1-8 GPU được đánh giá ở mức 1-2 TFLOPS với tổng số 0,001-0,1 pfs-ngày.

+ 2014 đến 2016: Kết quả quy mô lớn sử dụng 10-100 GPU được đánh giá ở mức 5-10 TFLOPS, tạo ra 0,1-10 pfs-ngày. Lợi nhuận giảm dần trên tính song song dữ liệu có nghĩa là các lần chạy đào tạo lớn hơn có giá trị hạn chế.

+ 2016 đến 2017: Các phương pháp cho phép tính song song thuật toán lớn hơn như  kích thước lô lớn,  tìm kiếm kiến ​​trúc và  sự lặp lại của chuyên gia, cùng với phần cứng chuyên dụng như TPU và kết nối nhanh hơn, đã làm tăng đáng kể những giới hạn này, ít nhất là đối với một số ứng dụng.

AlphaGoZero/AlphaZero là ví dụ công khai dễ thấy nhất về tính song song thuật toán lớn, nhưng nhiều ứng dụng khác ở quy mô này hiện có thể thực hiện được về mặt thuật toán và có thể đã diễn ra trong bối cảnh sản xuất.

Chúng tôi thấy nhiều lý do để tin rằng xu hướng trong biểu đồ có thể tiếp tục. Nhiều  công ty khởi nghiệp phần cứng (mở trong cửa sổ mới) đang phát triển chip dành riêng cho AI, một số trong số đó tuyên bố rằng họ sẽ đạt được mức tăng đáng kể về FLOPS/Watt (tương quan với FLOPS/$) trong 1–2 năm tới. Cũng có thể có lợi nhuận từ việc chỉ cần cấu hình lại phần cứng để thực hiện cùng số lượng hoạt động với  chi phí kinh tế thấp hơn Về mặt song song, nhiều cải tiến thuật toán gần đây được mô tả ở trên về nguyên tắc có thể được kết hợp theo cấp số nhân—ví dụ, tìm kiếm kiến ​​trúc và SGD song song hàng loạt.

Mặt khác, chi phí cuối cùng sẽ hạn chế khía cạnh song song của xu hướng và vật lý sẽ hạn chế khía cạnh hiệu quả của chip. Chúng tôi tin rằng các đợt đào tạo lớn nhất hiện nay sử dụng phần cứng có giá mua chỉ vài triệu đô la (mặc dù chi phí khấu hao thấp hơn nhiều). Nhưng phần lớn điện toán mạng nơ-ron hiện nay vẫn được chi cho suy luận (triển khai), không phải đào tạo, nghĩa là các công ty có thể tái sử dụng hoặc đủ khả năng mua các đội chip lớn hơn nhiều để đào tạo. Do đó, nếu có đủ động lực kinh tế, chúng ta có thể thấy nhiều đợt đào tạo song song lớn hơn nữa và do đó xu hướng này sẽ tiếp tục trong nhiều năm nữa. Tổng ngân sách phần cứng của thế giới là  1 nghìn tỷ đô la (mở trong cửa sổ mới) một năm, vì vậy giới hạn tuyệt đối vẫn còn xa vời. Nhìn chung, xét theo dữ liệu trên, tiền lệ cho xu hướng theo cấp số nhân trong điện toán, công việc trên phần cứng chuyên biệt ML và các động cơ kinh tế đang diễn ra, chúng tôi nghĩ rằng sẽ là sai lầm nếu tự tin rằng xu hướng này sẽ không tiếp tục trong ngắn hạn.

Xu hướng trong quá khứ không đủ để dự đoán xu hướng này sẽ tiếp tục trong tương lai bao lâu hoặc điều gì sẽ xảy ra trong khi nó tiếp tục. Nhưng ngay cả tiềm năng hợp lý để tăng nhanh khả năng cũng có nghĩa là việc bắt đầu giải quyết cả vấn đề  an toàn và việc sử dụng AI có mục đích xấu ngay  từ hôm nay là rất quan trọng. Tầm nhìn xa là điều cần thiết để  hoạch định chính sách có trách nhiệm(mở trong cửa sổ mới) và phát triển công nghệ có trách nhiệm, và chúng ta phải đi trước những xu hướng này thay vì phản ứng chậm trễ.

• Tìm hiểu về tài khoản ChatGPT-4 là gì?