Khám phá những chi tiết nhỏ của hệ thống phụ trợ

Quy mô tuyệt đối mà chúng tôi hoạt động, thành thật mà nói, là đáng kinh ngạc. Các nhà cung cấp phần cứng của bên thứ ba thường xuyên tâm sự rằng chúng tôi đang gặp phải những vấn đề mà họ chưa từng thấy trước đây. Thường thì điều này chỉ đơn giản là vì các cài đặt của chúng tôi có nhiều phần cứng hơn được nhét vào một siêu máy tính liền kề duy nhất so với các máy khách khác của họ, mặc dù đôi khi đó là hậu quả của kỳ vọng về hiệu suất của chúng tôi. Bản chất đồng bộ của hầu hết các phương pháp đào tạo mô hình dẫn đến một cấu hình mà toàn bộ cụm thực sự chạy ở tốc độ của nút chậm nhất.

Các mô hình nổi bật nhất của chúng tôi được đào tạo trên các siêu máy tính trị giá hàng tỷ đô la và kết quả là chúng tôi phải truy tìm các sự suy giảm hiệu suất mà hầu hết những người khác sẽ bỏ qua. Thật thú vị khi thấy một thay đổi như một dòng tác động đến hạt nhân chính, biết rằng nó sẽ tiết kiệm được ~6 ngày tính toán trên toàn bộ đội tàu của chúng tôi mỗi tuần hoặc thấy một mục dòng trên bản phát hành trình điều khiển mới, biết rằng đó là một trong những khám phá của chúng tôi dẫn đến bản sửa lỗi hiện đã được đưa lên thượng nguồn.

Ngày làm việc của tôi thường bao gồm một số công việc kết hợp giữa làm việc trên mã, điều tra các vấn đề và tham dự các cuộc họp. Các cuộc họp chiếm phần lớn thời gian vào thứ Ba của tôi (và thường chỉ vào thứ Ba, may mắn thay), và phần còn lại của tuần được chia thành gỡ lỗi và mã hóa. Các vấn đề được xác định thường trở thành công việc mã hóa, ví dụ, viết tài liệu thiết kế, đẩy bản sửa lỗi nhanh lên nhánh PR hoặc thêm logic kiểm tra tình trạng thụ động để loại bỏ phần cứng không phù hợp khỏi các cụm của chúng tôi.

Đào sâu vào các vấn đề đòi hỏi một chút công việc thám tử. Tác động của nghiên cứu thay đổi từ mơ hồ ("công việc của tôi có vẻ như đang chạy chậm hơn so với ngày hôm qua") đến cụ thể đáng sợ ("Tôi nghĩ nếu tôi đẩy hơn 30Gbps qua Ethernet NIC, tôi sẽ gây ra sự hoảng loạn hạt nhân?"). Đây có thể là một sự kết hợp quen thuộc: hiệu quả vào những ngày diễn ra như mong đợi và thú vị khi những gì mong đợi bị gián đoạn và bạn có cơ hội học được điều gì đó mới.

Tôi hiếm khi đến làm việc mà không có việc gì đó quan trọng cần làm, và tôi thường biết nhóm, dự án và nhà nghiên cứu cụ thể nào được hưởng lợi từ việc hoàn thành đúng hạn một nhiệm vụ. OpenAI là công ty tuyển dụng lớn nhất mà tôi từng làm việc và việc đánh giá ngay lập tức tác động của công việc của tôi là rất quan trọng đối với động lực hàng ngày của tôi. Tôi cũng thích khám phá những chi tiết nhỏ nhặt của hệ thống. OpenAI không phải là công ty tuyển dụng đầu tiên tôi làm việc về hệ thống phụ trợ, nhưng đây là lần đầu tiên tôi làm việc trong không gian HPC.

Các công nghệ mà chúng tôi làm việc thường tồn tại hoàn toàn do các mối quan tâm về hiệu suất được thiết kế riêng cho không gian này. Tôi không cần phải lo lắng về cấu trúc vật lý của phần cứng của chúng tôi tại các công ty trước đây—ví dụ, đảm bảo rằng giao tiếp diễn ra trong cùng một miền NUMA hoặc GPU sử dụng thiết bị NVME hoặc InfiniBand đồng vị trí thông qua GPUDirect của Nvidia hoặc các quy trình hệ thống được ghim vào các CPU cụ thể để tránh xung đột hàng xóm ồn ào với thời gian chạy nghiên cứu. OpenAI cung cấp cơ hội để đào sâu vào các khía cạnh của điện toán bị bỏ qua ở nơi khác, điều này khiến tôi luôn hứng thú với nhiệm vụ trong tầm tay.

Không gì truyền cảm hứng bằng việc xem các nhóm nghiên cứu của chúng tôi tiến triển trong việc cải thiện các mô hình của họ. Nhiều nhóm thiết lập bot Slack hoặc sân chơi đơn giản nơi bạn có thể tương tác và thử nghiệm các mô hình vẫn đang được phát triển, cho phép bạn xem các mô hình cải thiện khi quá trình đào tạo tiếp tục!

Tôi cũng sử dụng Slackmoji phổ biến :meow_party: để gắn thẻ nội dung truyền cảm hứng hoặc thúc đẩy động lực từ nhiều kênh Slack khác nhau của chúng tôi. Kể từ khi tham gia vào giữa năm 2020, tôi đã có hơn 400 bài đăng được gắn thẻ :meow_party:, trung bình gần 4 bài mỗi tuần!

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt