Chuyển giao kiến thức bán giám sát cho việc học sâu từ dữ liệu đào tạo riêng tư

Tóm tắt

Một số ứng dụng học máy liên quan đến dữ liệu đào tạo nhạy cảm, chẳng hạn như bệnh sử của bệnh nhân trong thử nghiệm lâm sàng. Một mô hình có thể vô tình và ngầm lưu trữ một số dữ liệu đào tạo của nó; do đó, việc phân tích cẩn thận mô hình có thể tiết lộ thông tin nhạy cảm.

Để giải quyết vấn đề này, chúng tôi trình bày một cách tiếp cận chung có thể áp dụng để cung cấp các đảm bảo quyền riêng tư mạnh mẽ cho dữ liệu đào tạo: Tổng hợp riêng tư của các nhóm giáo viên (PATE). Cách tiếp cận này kết hợp, theo kiểu hộp đen, nhiều mô hình được đào tạo bằng các tập dữ liệu rời rạc, chẳng hạn như hồ sơ từ các tập hợp người dùng khác nhau. Vì chúng dựa trực tiếp vào dữ liệu nhạy cảm, nên các mô hình này không được công bố mà thay vào đó được sử dụng làm "giáo viên" cho mô hình "học sinh". Học sinh học cách dự đoán đầu ra được chọn bằng cách bỏ phiếu nhiễu giữa tất cả các giáo viên và không thể trực tiếp truy cập vào một giáo viên riêng lẻ hoặc dữ liệu hoặc tham số cơ bản. Thuộc tính quyền riêng tư của học sinh có thể được hiểu theo cả trực quan (vì không có giáo viên nào và do đó không có tập dữ liệu nào quyết định việc đào tạo của học sinh) và theo hình thức, theo thuật ngữ quyền riêng tư khác biệt. Các thuộc tính này vẫn giữ nguyên ngay cả khi đối thủ không chỉ có thể truy vấn học sinh mà còn có thể kiểm tra hoạt động bên trong của học sinh.

So với công trình trước đây, phương pháp này chỉ áp đặt những giả định yếu về cách đào tạo giáo viên: nó áp dụng cho bất kỳ mô hình nào, bao gồm các mô hình không lồi như DNN. Chúng tôi đạt được sự đánh đổi quyền riêng tư/tiện ích tiên tiến trên MNIST và SVHN nhờ phân tích quyền riêng tư được cải thiện và học bán giám sát.