Học giả OpenAI 2021: Các dự án cuối cùng

Chúng tôi tự hào thông báo rằng lớp Học giả OpenAI năm 2021 đã hoàn thành chương trình cố vấn kéo dài sáu tháng và đã thực hiện một dự án nghiên cứu nguồn mở với học bổng và sự hỗ trợ từ OpenAI

Làm việc cùng các nhà nghiên cứu OpenAI hàng đầu đã tạo ra GPT-3 và DALL·E, các Học giả của chúng tôi đã khám phá các chủ đề như an toàn AI, học tập tương phản, mô hình sinh sản, luật mở rộng, nhiệm vụ đa mục tiêu mã hóa tự động, tính toán thời gian thử nghiệm, chiến lược phân đoạn NLP và tóm tắt từ phản hồi của con người.

Để kết thúc chương trình, chín Học giả của chúng tôi chia sẻ công việc của họ và cách Chương trình Học giả tác động đến sự nghiệp của họ. Đọc thêm về từng người trong số họ và các dự án của họ bên dưới.

Luật mở rộng cho việc học chuyển giao ngôn ngữ

Trước đây, tôi là kỹ sư sáng lập tại Sourceress, nơi tôi xây dựng cơ sở hạ tầng cho đường ống học máy và hệ thống gắn nhãn vòng lặp con người của chúng tôi. Nền tảng của tôi là kỹ thuật phần mềm và sản xuất máy học. Dựa trên công trình gần đây của OpenAI về luật mở rộng quy mô, dự án của tôi khám phá mức độ đào tạo trước về tiếng Anh giúp ích như thế nào khi chuyển đổi qua các ngôn ngữ khác nhau khi chúng tôi thay đổi kích thước mô hình và kích thước tập dữ liệu. Tôi thấy rằng a) các mô hình tiếng Anh được đào tạo trước giúp ích nhất khi học tiếng Đức, sau đó là tiếng Tây Ban Nha và cuối cùng là tiếng Trung và b) chuyển từ thang tiếng Anh sang tiếng Trung, tiếng Đức và tiếng Tây Ban Nha một cách có thể dự đoán được về các tham số, dữ liệu và tính toán. Trước đây, tôi là kỹ sư sáng lập tại Sourceress, nơi tôi xây dựng cơ sở hạ tầng cho đường ống học máy và hệ thống gắn nhãn vòng lặp con người của chúng tôi. Nền tảng của tôi là kỹ thuật phần mềm và sản xuất máy học. Dựa trên công trình gần đây của OpenAI về luật mở rộng quy mô, dự án của tôi khám phá mức độ đào tạo trước về tiếng Anh giúp ích như thế nào khi chuyển đổi qua các ngôn ngữ khác nhau khi chúng tôi thay đổi kích thước mô hình và kích thước tập dữ liệu. Tôi thấy rằng a) các mô hình tiếng Anh được đào tạo trước giúp ích nhất khi học tiếng Đức, sau đó là tiếng Tây Ban Nha và cuối cùng là tiếng Trung và b) chuyển từ thang điểm tiếng Anh sang tiếng Trung, tiếng Đức và tiếng Tây Ban Nha một cách có thể dự đoán được về mặt tham số, dữ liệu và tính toán.

Chức vụ trước đây : Kỹ sư sáng lập tại Sourceress, Nghiên cứu viên tại Recurse Center, Kỹ sư phần mềm tại Memebox

Học tập thú vị : “ Lời khuyên của tôi cho những ai mới bắt đầu nghiên cứu về học sâu là hãy dành thời gian để hiểu những hiểu biết sâu sắc từ các bài báo cơ bản và hãy nhớ rằng lĩnh vực này vẫn còn tương đối mới. Có rất nhiều chỗ cho các cá nhân có thể tạo ra tác động lớn. ”

Vòng phản hồi trong mô hình hóa ý kiến

Tôi có nền tảng về Phát triển phần mềm, Công bằng AI và Phát triển trò chơi VR. Tôi quan tâm đến chương trình Học giả như một cách để củng cố các kỹ năng nghiên cứu của mình, học hỏi từ những người tài năng khác trong lĩnh vực này và chuyển sang các vị trí nghiên cứu hoặc kỹ thuật trong ngành. Dự án của tôi mang tính khám phá, điều tra các công trình trước đây về mô hình hóa ý kiến từ bối cảnh học sâu. Khi các mô hình này tạo ra ngày càng nhiều văn bản, điều quan trọng là phải hiểu được tác động của chúng đối với hệ sinh thái ý kiến và các mô hình trong tương lai. Ngoài ra, tôi đã điều tra những gì xảy ra khi các mô hình được đào tạo lặp đi lặp lại trên các đầu ra từ các mô hình trước đó.

Chức vụ trước đây : Kỹ sư phần mềm tại ITHAKA, Brighten AI và Phylliida

Học tập thú vị : “ Nếu có thể, hãy dành vài tháng để nghiên cứu kỹ lưỡng khóa học fast.ai năm 2019 (phần 1 và 2), khóa học học sâu của Andrew Ng trên Coursera, khóa học RL của David Silver và Spinning Up in Deep RL . Nếu bạn không có nền tảng về thống kê, việc xây dựng nền tảng vững chắc hơn về thống kê cũng sẽ hữu ích. Điều này sẽ giúp bạn có khởi đầu thuận lợi trong việc học cách thực hiện nghiên cứu hiệu quả vì bạn cần dành ít thời gian hơn để học các khái niệm cốt lõi. Ngoài ra, nếu bạn chưa làm, hãy thử triển khai một vài bài báo từ đầu trong pytorch. Chọn các bài báo cũ có các triển khai hiện có để bạn có thể tham khảo các triển khai đó nếu gặp khó khăn. Xem liệu bạn có thể cải thiện bài báo bằng cách áp dụng ý tưởng từ một bài báo sau hay không. Quá trình này sẽ giúp bạn hiểu rõ hơn về việc thực hiện nghiên cứu DL như thế nào. ”

Mã hóa ngôn ngữ tương phản

Nền tảng của tôi là vật lý, tập trung vào năng lượng tối, vật chất tối và cấu trúc quy mô lớn của Vũ trụ. Đối với dự án của mình, tôi đã đào tạo trước một mô hình biểu diễn ngôn ngữ bằng cách sử dụng một mục tiêu hoàn toàn tương phản. Tôi quan tâm đến khả năng khái quát hóa và khả năng mở rộng của các mô hình như vậy so với các mô hình được đào tạo trước với các mục tiêu mô hình hóa ngôn ngữ truyền thống hơn. Tôi cũng tò mò về những yếu tố nào ảnh hưởng đến hiệu suất của bộ mã hóa ngôn ngữ tương phản. Trong bài nói chuyện này, tôi trình bày phương pháp luận của chúng tôi và một số kết quả sơ bộ.

Chức vụ trước đây : Tiến sĩ Vật lý tại UC Berkeley

Học tập thú vị : “ Việc thay đổi nghề nghiệp trong thời kỳ COVID-19 thật đáng sợ, nhưng chương trình này đã tạo ra môi trường hoàn hảo để tôi học hỏi, tích lũy kinh nghiệm thực tế và định hướng bản thân trong lĩnh vực này. Các cuộc thảo luận với người cố vấn và những người khác tại OpenAI đã giúp tôi tiếp cận với những hiểu biết sâu sắc và trực giác của chuyên gia mà không thể tìm thấy trong sách giáo khoa. Tuy nhiên, điều quan trọng nhất mà tôi khám phá ra là tôi yêu thích nghiên cứu AI đến mức nào. Tôi dự định sẽ tiếp tục phát triển sự nghiệp của mình theo hướng này. ”

Mô hình phần thưởng quy mô lớn

Tôi tham gia Chương trình Học giả để xây dựng các hệ thống máy tính hiểu rõ hơn về những gì mọi người thực sự coi trọng. Tôi sống ở Washington, DC và gần đây, tôi thực sự thích xây dựng những cỗ máy tuyệt vời với K'nex. Công việc gần đây của tôi tại OpenAI đã chứng minh rằng các mô hình phần thưởng được đào tạo dựa trên phản hồi của con người có thể hỗ trợ Học tăng cường. Dự án của tôi chứng minh rằng các mô hình phần thưởng có thể được đào tạo dựa trên phản hồi có cấu trúc quy mô lớn được trích xuất từ các trang web.

Chức vụ trước đây : Kỹ sư phần mềm Fullstack tại Sisu Data, Kỹ sư lượng tử và Kỹ sư dữ liệu tại Rigetti Computing

Học tập thú vị : “ Lời khuyên của tôi cho những người muốn tham gia: hãy tạo các dự án nguồn mở! Tìm ý tưởng thú vị đơn giản nhất mà bạn có thể nghĩ ra và xây dựng nó! ”

Đặc điểm tính toán thời gian kiểm tra trên các bài toán có cấu trúc đồ thị

Tôi là một kỹ sư phần mềm có nền tảng về vật lý ứng dụng và hàng không vũ trụ. Bài thuyết trình của tôi khám phá khả năng khái quát hóa của các mô hình tận dụng tính toán thời gian thử nghiệm trong một số miền bao gồm máy biến áp tự hồi quy, mô hình cân bằng sâu và mạng nơ-ron đồ thị. Trong đó, tôi hỏi: Với những hạn chế về ngân sách tính toán đào tạo hạn chế, liệu các mô hình thích ứng nhỏ có thể tận dụng tính toán thời gian thử nghiệm để khắc phục nhược điểm là có số lượng tham số có thể học được ít hơn không? Cuối cùng, chúng tôi trình bày các cơ chế cho thấy triển vọng trong việc giảm chi phí tính toán và cải thiện hiệu suất của mạng nơ-ron đồ thị.

Chức vụ trước đây : Kỹ sư phần mềm tại Facebook và Genentech

Học tập thú vị : “ Chương trình Học giả đã cho tôi sự tự tin để theo đuổi những con đường mới của sở thích học tập sâu sắc và nghiên cứu cũng như một thước đo năng lực gia tăng để tôi có thể hoạt động với sự rõ ràng, hiệu quả và sự trưởng thành về mặt đạo đức hơn. Nó cũng khơi dậy lại mối quan tâm nghiên cứu tiềm ẩn mà tôi hy vọng sẽ tiếp tục nuôi dưỡng trong tương lai. ”

Phá vỡ các mô hình tương phản với trò chơi bài SET

Tôi được đào tạo chính thức với tư cách là nhà khoa học dữ liệu và kiến trúc sư, nhưng tôi đã thay đổi sự nghiệp của mình vì AI có tác động lớn hơn nhiều đến môi trường của chúng ta so với các ngành công nghiệp thông thường và có nhiều vấn đề nghiên cứu thú vị trong lĩnh vực này. Trong dự án của mình, tôi đã mở rộng trò chơi bài nổi tiếng “SET” để nghiên cứu mối quan hệ giữa chiều biểu diễn vectơ và thành phần nhiệm vụ. Tôi đã tìm thấy các mô hình không tương phản của các tham số X để giải quyết các trò chơi mà các mô hình tương phản của các tham số 2X+ không thể. Một mô hình tương phản có thể học được gì với các biểu diễn vectơ có kích thước 16/32/64/128/256/512? Và những gì không?

Chức vụ trước đây : AI Resident tại Microsoft Research, Thực tập sinh Machine Learning tại Autodesk, Thực tập sinh khoa học dữ liệu tại Agari Data, Khoa tại UC Berkeley

Học tập thú vị : “ Tôi đến với chương trình với một vài sở thích (lý luận, tính tổng hợp, đa phương thức). Người cố vấn đã giúp tôi rất nhiều trong việc kết tinh những sở thích này thành các câu hỏi và đề xuất nghiên cứu cụ thể. Chúng tôi đã khám phá nhiều hướng khác nhau và tiếp tục lặp lại cho đến khi thấy được điều gì đó hứa hẹn. Quá trình này rất căng thẳng, nhưng những bài học thu được rất xứng đáng với công sức bỏ ra. ”

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt duy nhất hôm nay

Từ Words đến Bytes: Khám phá các Tokenization ngôn ngữ

Tôi bị thu hút vào chương trình Scholar vì tôi đã thấy một số điều mà các mô hình của OpenAI có thể làm và tôi muốn hiểu những gì cần có để xây dựng và lặp lại các mô hình mạnh mẽ như vậy. Việc dành thời gian riêng để khám phá học sâu với sự cố vấn tuyệt vời đã thay đổi khả năng hiểu và đóng góp của tôi cho lĩnh vực này! Khi không làm việc, tôi thường mày mò với các tiện ích hoặc đi tìm cảm giác mạnh với bạn bè. Dự án của tôi khám phá những sự đánh đổi khi sử dụng các lược đồ mã hóa khác này và cách các mã hóa khác nhau này mở rộng quy mô. Tôi cũng xem xét một cách tiếp cận để học phân đoạn của một chuỗi thay vì sử dụng một phân đoạn được xác định trước.

Chức vụ trước đây : Kỹ sư phần mềm tại Wahoo Fitness, Nhà sáng lập và Giám đốc điều hành tại Lorable, Kỹ sư dữ liệu tại Interkn

Học tập thú vị : “ Chương trình Scholars đã cho tôi không gian để khám phá nhiều ý tưởng khác nhau trong ML và học sâu, từ những thứ “cổ điển” như CNN và RNN cho đến việc hiểu được sự đánh đổi của các biến thể máy biến áp gần đây hơn. Có thể trò chuyện với các nhà nghiên cứu tại OpenAI khiến tôi nhận ra rằng ranh giới của nghiên cứu AI rất dễ tiếp cận. Ban đầu, tôi muốn tìm hiểu về tình trạng nghệ thuật hiện tại, nhưng việc ở đây trong vài tháng qua đã giúp tôi hiểu rằng tôi có thể đóng góp có ý nghĩa vào việc thúc đẩy tình trạng học sâu và AI. Làm việc tại OpenAI cũng khiến tôi suy nghĩ rất nhiều về ý nghĩa của các mô hình chúng tôi tạo ra và cách cung cấp các mô hình như vậy cho thế giới trong khi giảm thiểu tác hại tiềm ẩn. ”

Nghiên cứu Luật Tỷ lệ cho các Biến thể Kiến trúc Máy biến áp

Tôi gần như đã chọn chuyên ngành tiếng Pháp ở trường đại học vì tôi luôn yêu thích ngôn ngữ. Tôi thường xuyên xem phim và chương trình truyền hình bằng các ngôn ngữ khác (vâng - phim truyền hình Hàn Quốc đứng đầu danh sách đó) nhưng tôi chưa bao giờ nghĩ rằng tình yêu ngôn ngữ của tôi sẽ chuyển thành việc tôi nghiên cứu về NLP. Trong nghiên cứu của mình, tôi khám phá sự đánh đổi giữa hiệu suất mô hình và chi phí đào tạo, và nghiên cứu các quy luật tỷ lệ trên các kiến trúc máy biến áp khác nhau để hiểu tác động của kiến trúc máy biến áp đến hiệu suất mô hình.

Chức vụ trước đây : Kỹ sư phần mềm cao cấp tại IBM, Kỹ sư phần mềm tại Walker & Co Brands, Kỹ sư phần mềm tại Inuit

Học tập thú vị : “ Mọi thứ về quan điểm của tôi đã thay đổi kể từ khi tham gia chương trình. Có rất ít công ty và tổ chức trên thế giới sử dụng máy học ở quy mô lớn và có tầm nhìn về hướng đi của lĩnh vực ML/AI. Càng ít cơ hội hơn cho những người không có kinh nghiệm nghiên cứu và bằng cấp cao, chứ đừng nói đến chương trình tập trung vào các nhóm chưa được đại diện. Chỉ riêng ý nghĩa của việc tham gia chương trình này vào thời điểm ngành công nghiệp đang khám phá tiềm năng của GPT3 đã thay đổi tầm nhìn của tôi về những gì công nghệ tương lai mang lại và vị trí của tôi trong đó có thể là gì. Tôi nghĩ mọi người cho rằng bạn cần có bằng cấp kỹ thuật để học AI nhưng tôi chỉ tò mò về tương lai và muốn tham gia xây dựng nó. ”

Học nhiều chế độ hành vi trong môi trường kiểm soát liên tục

Tôi đã nộp đơn vào OpenAI vì tôi muốn có đặc quyền sâu sắc để vật lộn với những câu hỏi định hình nên các hệ thống AI ngày càng phức tạp. Là người Cameroon bản địa lớn lên ở Hoa Kỳ, tôi điều hướng nhiều góc nhìn (về mặt học thuật, văn hóa và ngôn ngữ) và tò mò muốn tìm hiểu cách AI học hỏi từ những điểm chung và khác biệt của con người. Quá trình kỹ thuật phần thưởng và ràng buộc gian khổ đôi khi có thể dẫn đến sự không phù hợp giữa ý tưởng thành công của nhà thiết kế và thông số kỹ thuật phân tích của nó. Hơn nữa, nhiều nhiệm vụ trong thế giới thực chứa nhiều mục tiêu và các phương pháp tiếp cận hiện tại trong học tăng cường không cung cấp đòn bẩy trực tiếp để lựa chọn giữa các chiến lược tương đương Pareto. Để giải quyết những vấn đề này, trong dự án của mình, tôi giải thích cách chúng tôi sử dụng "nhiều chuyên gia, nhiều mục tiêu" (MEMO) để khám phá khả năng của tác nhân trong việc tiếp thu các ví dụ về thành công từ nhiều chuyên gia với các mục tiêu khác nhau và học một chính sách có điều kiện duy nhất có thể được định hướng theo quyết định của người giám sát.

Chức vụ trước đây : Lập trình viên nghiên cứu, Nhà khoa học dữ liệu tại RAND Corporation, Chuyên gia kinh tế cộng tác tại Ngân hàng Dự trữ Liên bang Chicago

Học tập thú vị : “ Đối với những người mới vào nghề, tôi khuyên bạn nên từ từ thực hiện các triển khai mã nguồn mở sạch của các thuật toán nổi tiếng trong khi đọc nền tảng lý thuyết của chúng. Cố gắng thử nghiệm các thiết kế thường xuyên. Các khóa học của Fast.ai và Andrew Ng là những nguồn tài nguyên tuyệt vời cho hành trình này. ”