DALL·E 2 biện pháp giảm thiểu trước khi đào tạo

Bây giờ chúng ta đã có một proxy để đo độ lệch do bộ lọc gây ra, chúng ta cần một cách để giảm thiểu nó. Để giải quyết vấn đề này, chúng ta đặt mục tiêu cân nhắc lại tập dữ liệu đã lọc để phân phối của nó khớp hơn với phân phối của hình ảnh chưa lọc. Để minh họa cho ý tưởng này, giả sử tập dữ liệu của chúng ta bao gồm 50% ảnh mèo và 50% ảnh chó, nhưng bộ lọc dữ liệu của chúng ta loại bỏ 75% chó nhưng chỉ 50% mèo. Tập dữ liệu cuối cùng sẽ là ⅔ mèo và ⅓ chó, và một mô hình tạo dựa trên khả năng được đào tạo trên tập dữ liệu này có khả năng tạo ra nhiều hình ảnh mèo hơn chó. Chúng ta có thể khắc phục sự mất cân bằng này bằng cách nhân độ mất mát khi đào tạo của mọi hình ảnh chó với 2, mô phỏng hiệu ứng lặp lại mọi hình ảnh chó hai lần. Hóa ra là chúng ta có thể mở rộng phương pháp tiếp cận này cho các tập dữ liệu và mô hình thực tế của mình theo cách phần lớn là tự động - nghĩa là chúng ta không cần phải chọn thủ công các tính năng mà chúng ta muốn cân nhắc lại.

Chúng tôi tính toán trọng số cho hình ảnh trong tập dữ liệu đã lọc bằng cách sử dụng xác suất từ ​​một bộ phân loại đặc biệt, tương tự như phương pháp được  Choi et al. (2019) sử dụng (mở trong cửa sổ mới). Để đào tạo bộ phân loại này, chúng tôi lấy mẫu hình ảnh đồng đều từ cả hai tập dữ liệu và dự đoán hình ảnh đó đến từ tập dữ liệu nào. Cụ thể, mô hình này dự đoán  P(unfiltered|image) , với điều kiện  P(unfiltered) = 0,5 trước đó . Trong thực tế, chúng tôi không muốn mô hình này quá mạnh, nếu không nó có thể học chính xác chức năng được bộ lọc của chúng tôi triển khai ngay từ đầu. Thay vào đó, chúng tôi muốn mô hình mượt mà hơn các bộ lọc dữ liệu gốc của mình, nắm bắt các danh mục rộng bị ảnh hưởng bởi các bộ lọc trong khi vẫn không chắc chắn liệu một hình ảnh cụ thể có được lọc hay không. Để đạt được mục đích này, chúng tôi đã đào tạo một đầu dò tuyến tính trên một  mô hình CLIP nhỏ  .

Khi chúng ta có một bộ phân loại dự đoán xác suất một hình ảnh đến từ tập dữ liệu chưa lọc, chúng ta vẫn cần chuyển đổi dự đoán này thành trọng số cho hình ảnh. Ví dụ, giả sử  P(unfiltered|image)  = 0,8. Điều này có nghĩa là mẫu có khả năng được tìm thấy trong dữ liệu chưa lọc cao hơn 4 lần so với dữ liệu đã lọc và trọng số 4 sẽ hiệu chỉnh sự mất cân bằng. Tổng quát hơn, chúng ta có thể sử dụng trọng số (unfiltered|image)/P(filtered|image) .

Sơ đồ cân nhắc lại này thực sự làm giảm độ lệch khuếch đại tốt như thế nào? Khi chúng tôi tinh chỉnh mô hình đã lọc trước đó của mình bằng sơ đồ cân nhắc mới, hành vi của mô hình đã tinh chỉnh khớp chặt chẽ hơn nhiều với mô hình chưa lọc trên các ví dụ có độ lệch mà chúng tôi đã tìm thấy trước đó. Mặc dù điều này rất đáng khích lệ, nhưng chúng tôi cũng muốn đánh giá quá trình giảm thiểu này kỹ lưỡng hơn bằng cách sử dụng phương pháp ước lượng độ lệch dựa trên từ khóa của mình. Để đo tần suất từ ​​khóa trong khi tính đến sơ đồ cân nhắc mới của mình, chúng tôi có thể chỉ cần cân nhắc mọi trường hợp của từ khóa trong tập dữ liệu đã lọc theo trọng số của mẫu chứa từ khóa đó. Khi thực hiện việc này, chúng tôi sẽ có được một tập hợp tần suất từ ​​khóa mới phản ánh trọng số mẫu trong tập dữ liệu đã lọc.

Trong hầu hết các từ khóa chúng tôi đã kiểm tra, lược đồ tái trọng số đã giảm sự thay đổi tần suất do lọc gây ra. Đối với các ví dụ trước đây của chúng tôi về "đàn ông" và "phụ nữ", mức giảm tần suất tương đối trở thành 1% và -1%, trong khi các giá trị trước đó của chúng lần lượt là 14% và 6%. Mặc dù số liệu này chỉ là một đại diện cho độ lệch lọc thực tế, nhưng thật an tâm khi lược đồ tái trọng số dựa trên hình ảnh của chúng tôi thực sự cải thiện số liệu dựa trên văn bản một cách đáng kể.

Chúng tôi đang tiếp tục điều tra những sai lệch còn lại trong DALL·E 2, một phần thông qua các đánh giá rộng hơn về hành vi của mô hình và điều tra cách lọc tác động đến sự sai lệch và phát triển năng lực.

Chúng tôi nhận thấy rằng những người tiền nhiệm nội bộ của DALL·E 2 đôi khi sẽ sao chép nguyên văn các hình ảnh đào tạo. Hành vi này là không mong muốn, vì chúng tôi muốn DALL·E 2 tạo ra các hình ảnh gốc, độc đáo theo mặc định chứ không chỉ "ghép lại" các phần của hình ảnh hiện có. Ngoài ra, việc sao chép nguyên văn các hình ảnh đào tạo có thể gây ra các câu hỏi pháp lý xung quanh vấn đề vi phạm bản quyền, quyền sở hữu và quyền riêng tư (nếu ảnh của mọi người có trong dữ liệu đào tạo).

Để hiểu rõ hơn về vấn đề trào ngược hình ảnh, chúng tôi đã thu thập một tập dữ liệu các lời nhắc thường dẫn đến hình ảnh trùng lặp. Để thực hiện điều này, chúng tôi đã sử dụng một mô hình đã được đào tạo để lấy mẫu hình ảnh cho 50.000 lời nhắc từ tập dữ liệu đào tạo của chúng tôi và sắp xếp các mẫu theo mức độ tương đồng về mặt nhận thức với hình ảnh đào tạo tương ứng. Cuối cùng, chúng tôi đã kiểm tra các kết quả trùng khớp hàng đầu bằng tay, chỉ tìm thấy một vài trăm cặp trùng lặp thực sự trong tổng số 50.000 lời nhắc. Mặc dù tỷ lệ trào ngược có vẻ ít hơn 1%, chúng tôi cảm thấy cần phải giảm tỷ lệ xuống 0 vì những lý do nêu trên.

Khi chúng tôi nghiên cứu tập dữ liệu hình ảnh được nhai lại của mình, chúng tôi nhận thấy hai mô hình. Đầu tiên, hầu hết các hình ảnh đều là đồ họa vector đơn giản, có thể dễ nhớ do hàm lượng thông tin thấp. Thứ hai, và quan trọng hơn, tất cả các hình ảnh đều có nhiều bản sao gần giống nhau trong tập dữ liệu đào tạo. Ví dụ, có thể có một đồ họa vector trông giống như một chiếc đồng hồ hiển thị thời gian 1 giờ—nhưng sau đó chúng tôi sẽ khám phá ra một mẫu đào tạo chứa cùng một chiếc đồng hồ hiển thị 2 giờ, rồi 3 giờ, v.v. Khi nhận ra điều này, chúng tôi đã sử dụng tìm kiếm lân cận gần nhất phân tán để xác minh rằng, thực sự, tất cả các hình ảnh được nhai lại đều có các bản sao tương tự về mặt nhận thức trong tập dữ liệu. Khác (mở trong cửa sổ mới) tác phẩm (mở trong cửa sổ mới) đã quan sát thấy hiện tượng tương tự trong các mô hình ngôn ngữ lớn, nhận thấy rằng sự trùng lặp dữ liệu có liên quan chặt chẽ đến việc ghi nhớ.

Phát hiện trên cho thấy rằng, nếu chúng ta loại bỏ trùng lặp tập dữ liệu của mình, chúng ta có thể giải quyết được vấn đề trào ngược. Để đạt được điều này, chúng tôi đã lên kế hoạch sử dụng mạng nơ-ron để xác định các nhóm hình ảnh trông giống nhau, sau đó xóa tất cả trừ một hình ảnh khỏi mỗi nhóm.

Tuy nhiên, điều này sẽ yêu cầu kiểm tra, đối với mỗi hình ảnh, xem nó có phải là bản sao của mọi hình ảnh khác trong tập dữ liệu hay không. Vì toàn bộ tập dữ liệu của chúng tôi chứa hàng trăm triệu hình ảnh, nên chúng tôi sẽ ngây thơ cần kiểm tra hàng trăm nghìn tỷ cặp hình ảnh để tìm tất cả các bản sao. Mặc dù về mặt kỹ thuật, điều này nằm trong tầm tay, đặc biệt là trên một cụm tính toán lớn, nhưng chúng tôi đã tìm thấy một giải pháp thay thế hiệu quả hơn nhiều, hoạt động gần như tốt với chi phí chỉ bằng một phần nhỏ. Hãy xem xét điều gì xảy ra nếu chúng tôi nhóm tập dữ liệu của mình trước khi thực hiện loại bỏ trùng lặp. Vì các mẫu gần nhau thường rơi vào cùng một cụm, nên hầu hết các cặp trùng lặp sẽ không vượt qua ranh giới quyết định cụm. Sau đó, chúng tôi có thể loại bỏ trùng lặp các mẫu trong mỗi cụm mà không cần kiểm tra các bản sao bên ngoài cụm, trong khi chỉ bỏ sót một phần nhỏ trong số tất cả các cặp trùng lặp. Điều này nhanh hơn nhiều so với cách tiếp cận ngây thơ, vì chúng tôi không còn phải kiểm tra từng cặp hình ảnh nữa. ^C

Khi chúng tôi thử nghiệm phương pháp này theo kinh nghiệm trên một tập hợp con nhỏ trong dữ liệu của mình, nó đã tìm thấy 85% tất cả các cặp trùng lặp khi sử dụng cụm_K=1024_. Để cải thiện tỷ lệ thành công của thuật toán trên, chúng tôi đã tận dụng một quan sát chính: khi bạn nhóm các tập hợp con ngẫu nhiên khác nhau của một tập dữ liệu, ranh giới quyết định cụm kết quả thường khá khác nhau. Do đó, nếu một cặp trùng lặp vượt qua ranh giới cụm cho một cụm dữ liệu, thì cùng một cặp đó có thể nằm trong một cụm duy nhất trong một cụm khác. Bạn càng thử nhiều cụm, thì khả năng bạn khám phá ra một cặp trùng lặp nhất định càng cao. Trên thực tế, chúng tôi quyết định sử dụng năm cụm, nghĩa là chúng tôi tìm kiếm các bản sao của mỗi hình ảnh trong hợp của năm cụm khác nhau. Trên thực tế, điều này đã tìm thấy 97% tất cả các cặp trùng lặp trên một tập hợp con dữ liệu của chúng tôi.

Đáng ngạc nhiên là gần một phần tư tập dữ liệu của chúng tôi đã bị loại bỏ bằng cách loại bỏ trùng lặp. Khi chúng tôi xem xét các cặp gần trùng lặp được tìm thấy, nhiều cặp trong số đó bao gồm những thay đổi có ý nghĩa. Hãy nhớ lại ví dụ về đồng hồ ở trên: tập dữ liệu có thể bao gồm nhiều hình ảnh của cùng một chiếc đồng hồ vào các thời điểm khác nhau trong ngày. Mặc dù những hình ảnh này có thể khiến mô hình ghi nhớ hình dạng của chiếc đồng hồ cụ thể này, nhưng chúng cũng có thể giúp mô hình học cách phân biệt các thời điểm trong ngày trên một chiếc đồng hồ. Với lượng dữ liệu đã bị loại bỏ, chúng tôi lo ngại rằng việc loại bỏ những hình ảnh như thế này có thể làm giảm hiệu suất của mô hình.

Để kiểm tra hiệu ứng của việc loại bỏ trùng lặp trên các mô hình của chúng tôi, chúng tôi đã đào tạo hai mô hình với các siêu tham số giống hệt nhau: một trên toàn bộ tập dữ liệu và một trên phiên bản đã loại bỏ trùng lặp của tập dữ liệu. Để so sánh các mô hình, chúng tôi đã sử dụng cùng các đánh giá của con người mà chúng tôi đã sử dụng để đánh giá mô hình GLIDE ban đầu của mình. Đáng ngạc nhiên là chúng tôi thấy rằng những người đánh giá của con người  thích  mô hình được đào tạo trên dữ liệu đã loại bỏ trùng lặp hơn một chút, điều này cho thấy rằng số lượng lớn hình ảnh trùng lặp trong tập dữ liệu thực sự đang làm giảm hiệu suất.

Sau khi chúng tôi có một mô hình được đào tạo trên dữ liệu đã loại bỏ trùng lặp, chúng tôi chạy lại tìm kiếm hồi quy mà chúng tôi đã thực hiện trước đó trên 50 nghìn lời nhắc từ tập dữ liệu đào tạo. Chúng tôi thấy rằng mô hình mới không bao giờ hồi quy một hình ảnh đào tạo khi được đưa ra lời nhắc chính xác cho hình ảnh từ tập dữ liệu đào tạo. Để đưa bài kiểm tra này tiến thêm một bước nữa, chúng tôi cũng đã thực hiện tìm kiếm láng giềng gần nhất trên toàn bộ tập dữ liệu đào tạo cho mỗi hình ảnh trong số 50 nghìn hình ảnh được tạo ra. Theo cách này, chúng tôi nghĩ rằng chúng tôi có thể bắt gặp mô hình hồi quy một hình ảnh khác với hình ảnh được liên kết với lời nhắc nhất định. Ngay cả với lần kiểm tra kỹ lưỡng hơn này, chúng tôi không bao giờ tìm thấy trường hợp hồi quy hình ảnh.

Mặc dù tất cả các biện pháp giảm thiểu được thảo luận ở trên đều thể hiện tiến bộ đáng kể hướng tới mục tiêu giảm thiểu rủi ro liên quan đến DALL·E 2, nhưng mỗi biện pháp giảm thiểu vẫn có chỗ để cải thiện:

+ Các bộ lọc tiền đào tạo tốt hơn có thể cho phép chúng ta đào tạo DALL·E 2 trên nhiều dữ liệu hơn và có khả năng giảm thêm độ lệch trong mô hình. Các bộ lọc hiện tại của chúng tôi được điều chỉnh để có tỷ lệ bỏ sót thấp với cái giá phải trả là nhiều kết quả dương tính giả. Do đó, chúng tôi đã lọc ra khoảng 5% toàn bộ tập dữ liệu của mình mặc dù hầu hết các hình ảnh đã lọc này không vi phạm chính sách nội dung của chúng tôi. Việc cải thiện các bộ lọc của chúng tôi có thể cho phép chúng tôi lấy lại một số dữ liệu đào tạo này.

+ Sự thiên vị được đưa vào và có khả năng khuếch đại ở nhiều giai đoạn phát triển và triển khai hệ thống. Đánh giá và giảm thiểu sự thiên vị trong các hệ thống như DALL·E 2 và tác hại do sự thiên vị này gây ra là một vấn đề liên ngành quan trọng mà chúng tôi tiếp tục nghiên cứu tại OpenAI như một phần trong sứ mệnh rộng lớn hơn của mình. Công việc của chúng tôi về vấn đề này bao gồm xây dựng các đánh giá để hiểu rõ hơn về vấn đề, quản lý các tập dữ liệu mới và áp dụng các kỹ thuật như phản hồi của con người và tinh chỉnh để xây dựng các công nghệ mạnh mẽ và đại diện hơn.

+ Điều quan trọng nữa là chúng ta phải tiếp tục nghiên cứu về ghi nhớ và khái quát hóa trong các hệ thống học sâu. Mặc dù việc loại bỏ trùng lặp là bước đầu tiên tốt để ngăn ngừa việc ghi nhớ, nhưng nó không cho chúng ta biết mọi thứ cần tìm hiểu về lý do hoặc cách các mô hình như DALL·E 2 ghi nhớ dữ liệu đào tạo.

Xem thêm: mua tài khoản ChatGPT Plus chính hãng giá rẻ với nhiều ưu đãi đặc biệt!