Trong bài viết blog gần đây nhất của chúng tôi, chúng tôi đã chỉ ra cách phá vỡ các sơ đồ LLM bảo vệ quyền riêng tư — giải mã các trạng thái mô hình đã hoán vị với độ chính xác gần như hoàn hảo. Hôm nay, chúng tôi giới thiệu biện pháp phòng thủ của mình: Cascade 🕵️‍♂️✨

Cascade bảo mật suy diễn LLM bằng cách chia sẻ trạng thái ẩn giữa các bên thông qua "token sharding"—mỗi nút chỉ thấy một vài token theo thứ tự. Càng xa nhau, chi phí tấn công của các token trên một nút càng cao—tăng theo cấp số nhân với khoảng cách.

Cascade giữ nguyên độ chính xác hoàn toàn trong suy diễn—không có sự xấp xỉ, không có toán học điểm cố định. Nó phân chia tính toán giữa CompNodes (cho MLPs) và AttnNodes (cho attention), bảo tồn kết quả chính xác qua các giai đoạn phân tán.

Điểm mấu chốt của Cascade là một kế hoạch phân mảnh token có khả năng chống lại cả cuộc tấn công tái cấu trúc của chúng tôi và các cuộc tấn công dựa trên học máy đã biết. Chúng tôi chứng minh trong bài báo rằng phương pháp của chúng tôi, được gọi là phân mảnh c-δ, đạt được sự riêng tư mạnh mẽ mà không làm giảm độ trung thực.

Chúng tôi thực hiện các thí nghiệm sâu rộng về tính bảo mật của Cascade trước các cuộc tấn công dựa trên học máy. Mặc dù nó thiếu các đảm bảo chính thức của SMPC, chúng tôi chứng minh rằng với đủ số nút, Cascade có khả năng chống lại những cuộc tấn công này một cách thực nghiệm.

Lợi ích lớn nhất của Cascade là tốc độ và khả năng mở rộng. So với các sơ đồ SMPC hiện có như MPCFormer và Puma, Cascade nhanh hơn 2 bậc độ lớn, ngay cả trong cài đặt an toàn nhất mà chúng tôi đã thử nghiệm (72 người tham gia):

Cascade được thúc đẩy bởi nhu cầu tìm kiếm một mô hình mới trong sự đánh đổi giữa quyền riêng tư, bảo mật và khả năng mở rộng. Chúng tôi tin rằng ý tưởng cốt lõi của nó—token-sharding—đạt được sự cân bằng đó và mở ra một hướng đi mới cho các LLM bảo vệ quyền riêng tư.

Công trình của chúng tôi về cả cuộc tấn công và Cascade đã được chấp nhận tại ICML 2025, và sẽ được trình bày vào ngày 16 tháng 7 lúc 4:30 chiều PST tại East Exhibition Hall A-B, Phòng E-2612, trong Trung tâm Hội nghị Vancouver. Hãy đến và trò chuyện với chúng tôi! 🔗

Hãy tham gia cùng chúng tôi cho buổi giao lưu Ritual tại ICML. Gặp gỡ đội ngũ nghiên cứu AI và tiền điện tử của chúng tôi, thư giãn với những người tuyệt vời, và kết thúc ngày của bạn theo cách đúng đắn. Đây là Ritual hoàn hảo. Đăng ký tại đây: