Trao quyền cho những người bảo vệ thông qua Chương trình tài trợ an ninh mạng của chúng tôi

Chúng tôi sẽ chia sẻ thêm về công việc mà chúng tôi đã tài trợ trong năm qua theo Chương trình tài trợ an ninh mạng. 

Vào năm 2023, chúng tôi đã khởi động Chương trình tài trợ an ninh mạng với tầm nhìn táo bạo: trang bị cho những người bảo vệ mạng các mô hình AI tiên tiến nhất và trao quyền cho nghiên cứu đột phá tại giao điểm của an ninh mạng và trí tuệ nhân tạo. Phản ứng nhiệt tình từ cộng đồng đã vượt quá mong đợi của chúng tôi—chúng tôi đã nhận được hơn 600 đơn đăng ký—nhấn mạnh nhu cầu quan trọng và tác động của đối thoại nghiên cứu và thảo luận có ý nghĩa giữa OpenAI và cộng đồng an ninh mạng.

Kể từ khi thành lập, chương trình đã hỗ trợ nhiều dự án đa dạng. Chúng tôi rất vui mừng được nêu bật một số dự án trong số đó. 

Xem thêm: mua tài khoản ChatGPT 4.0 với nhiều ưu đãi đặc biệt

Phòng thí nghiệm Wagner từ UC Berkeley

Phòng nghiên cứu bảo mật của Giáo sư David Wagner tại UC Berkeley đang tiên phong trong các kỹ thuật nhằm bảo vệ chống lại các cuộc tấn công tiêm nhanh trong các mô hình ngôn ngữ lớn (LLM). Nhóm đang hợp tác với OpenAI để nâng cao độ tin cậy của các mô hình này và bảo vệ chúng khỏi các mối đe dọa an ninh mạng.

Đội bảo vệ

Albert Heinle, đồng sáng lập và giám đốc công nghệ tại Coguard (mở trong cửa sổ mới), sử dụng AI để giảm cấu hình phần mềm sai, một nguyên nhân phổ biến gây ra sự cố bảo mật. Cấu hình phần mềm rất phức tạp, điều này càng phức tạp hơn khi kết nối phần mềm với mạng và cụm. Các giải pháp phần mềm hiện tại dựa trên các chính sách dựa trên quy tắc lỗi thời. AI có thể giúp tự động phát hiện cấu hình sai và cập nhật chúng.

Bảo mật Mithril

Mithril đã phát triển một bằng chứng khái niệm để củng cố cơ sở hạ tầng suy luận cho LLM, bao gồm các công cụ nguồn mở để triển khai các mô hình AI trên GPU với các vùng an toàn dựa trên Mô-đun nền tảng đáng tin cậy (TPM). Dự án này nhằm mục đích chứng minh rằng dữ liệu có thể được gửi đến các nhà cung cấp AI mà không cần bất kỳ dữ liệu nào bị lộ, ngay cả với quản trị viên. Công trình của họ có sẵn công khai trên GitHub (mở trong cửa sổ mới) và như một bản báo cáo chi tiết về kiến ​​trúc của họ (mở trong cửa sổ mới).

Gabriel Bernadette-Shapiro

Một cá nhân được tài trợ, Gabriel Bernadett-Shapiro, đã tạo ra hội thảo AI OSINT và Bộ khởi động bảo mật AI, cung cấp đào tạo kỹ thuật về những điều cơ bản của LLM và các công cụ miễn phí cho sinh viên, nhà báo, điều tra viên và chuyên gia an ninh thông tin. Đặc biệt, Gabriel đã nhấn mạnh đào tạo liên kết cho các điều tra viên tội phạm tàn bạo quốc tế và sinh viên nghiên cứu tình báo tại Đại học Johns Hopkins để giúp đảm bảo họ có những công cụ tốt nhất để tận dụng AI trong cả môi trường quan trọng và đầy thách thức.

Phòng thí nghiệm Breuer tại Dartmouth

Mạng nơ-ron dễ bị tấn công khi kẻ thù tái tạo dữ liệu đào tạo riêng tư bằng cách tương tác với mô hình. Việc phòng thủ chống lại các cuộc tấn công này thường đòi hỏi phải đánh đổi tốn kém về độ chính xác của mô hình và thời gian đào tạo. Giáo sư Adam Breuer (mở trong cửa sổ mới) Phòng thí nghiệm tại Dartmouth đang phát triển các kỹ thuật phòng thủ mới giúp ngăn chặn các cuộc tấn công này mà không ảnh hưởng đến độ chính xác hoặc hiệu quả.

Phòng thí nghiệm an ninh Đại học Boston (SeclaBU)

Xác định và lý giải về lỗ hổng mã là một lĩnh vực nghiên cứu quan trọng và tích cực. Ứng viên tiến sĩ Saad Ullah, Giáo sư Gianluca Stringhini từ SeclaBU (mở trong cửa sổ mới) và Giáo sư Ayse Coskun từ Phòng thí nghiệm Peac (mở trong cửa sổ mới) tại Đại học Boston đang nỗ lực cải thiện khả năng phát hiện và sửa lỗi của LLM trong mã. Nghiên cứu này có thể giúp các nhà bảo vệ mạng phát hiện và ngăn chặn các cuộc khai thác mã trước khi chúng được sử dụng với mục đích xấu.

Phòng thí nghiệm bảo mật CY-PHY của Đại học Santa Cruz (UCSC)

Giáo sư Alvaro Cardenas (mở trong cửa sổ mới)'Nhóm nghiên cứu từ UCSC đang khám phá cách chúng ta có thể sử dụng các mô hình nền tảng để thiết kế các tác nhân phản ứng tự động với những kẻ xâm nhập mạng máy tính, hay còn gọi là các tác nhân phòng thủ mạng tự động. Dự án có ý định so sánh các ưu điểm và nhược điểm của các mô hình nền tảng với các đối tác của chúng được đào tạo bằng cách sử dụng học tăng cường (RL) và sau đó, cách chúng có thể làm việc cùng nhau để cải thiện bảo mật mạng và phân loại thông tin về mối đe dọa.

Phòng thí nghiệm trí tuệ nhân tạo khoa học máy tính MIT (MIT CSAIL)

Stephen Moskal, Erik Hemberg và Una-May O'Reilly từ Phòng thí nghiệm trí tuệ nhân tạo khoa học máy tính MIT(mở trong cửa sổ mới) đang khám phá cách tự động hóa quy trình ra quyết định và thực hiện các phản hồi có thể thực hiện được bằng cách sử dụng các phương pháp kỹ thuật nhanh chóng trong vòng lặp lập kế hoạch-hành động-báo cáo cho nhóm đỏ. Ngoài ra, nhóm đang khám phá các khả năng của LLM-Agent trong các thử thách Capture-the-Flag (CTF) - các bài tập nhằm phát hiện các lỗ hổng trong môi trường được kiểm soát.

ChatGPT đã nổi lên như một trong những công cụ phổ biến và được sử dụng thường xuyên nhất bởi các chuyên gia an ninh mạng. Trong số những công dụng phổ biến nhất của những người bảo vệ mạng bao gồm dịch và diễn đạt lại thuật ngữ kỹ thuật hoặc sự kiện nhật ký thành ngôn ngữ đơn giản hơn, viết mã để phân tích hiện vật trong quá trình điều tra, tạo trình phân tích nhật ký và tóm tắt trạng thái sự cố trong thời gian giới hạn nghiêm ngặt.

Để tăng cường lợi ích, chúng tôi đã cấp quyền truy cập miễn phí vào tài khoản ChatGPT Plus cho nhiều người trong cộng đồng an ninh mạng, coi đây là cơ hội quan trọng để tăng cường áp dụng AI vào phòng thủ mạng.

Chúng tôi sẽ tiếp tục cung cấp tài khoản ChatGPT Plus miễn phí và mở rộng sáng kiến ​​này để cung cấp ChatGPT Team và Enterprise. Việc mở rộng của chúng tôi bắt đầu với các đối tác tại Mạng lưới nghiên cứu và giáo dục Uganda (RENU) (mở trong cửa sổ mới).