在我們的最後一篇博客文章中，我們展示了如何破解保護隱私的 LLM 計劃——以近乎完美的準確性解碼置換的模型狀態。 今天，我們介紹我們的防禦措施：Cascade 🕵️‍♂️✨

Cascade 通過 "token sharding" 將隱藏狀態分割到各方來保護 LLM 推理——每個節點僅按順序查看幾個標記。節點的標記越分散，攻擊的成本就越高——隨著距離的增加呈指數增長。

Cascade 在推理中保持完全的保真度——沒有近似值，沒有定點數學。它在 CompNodes（用於 MLP）和 AttnNodes（用於注意力）之間分配計算，保留分佈階段之間的精確結果。

Cascade 的核心是一種對我們的重建攻擊和已知的基於學習的攻擊都具有強健性的代幣分片方案。我們在論文中展示了我們的方法，稱為 c-δ 分片，實現了強大的隱私性而不妥協保真度。

我們對Cascade在基於學習的攻擊下的安全性進行了廣泛的實驗。雖然它缺乏SMPC的正式保證，但我們證明，只要節點足夠多，Cascade在實證上對這些攻擊是穩健的。

Cascade 最重要的優勢是速度和可擴展性。與現有的 SMPC 計劃如 MPCFormer 和 Puma 相比，Cascade 快了 2 個數量級，即使在我們測試的最安全設置（72 位參與者）下也是如此：

Cascade 的動機在於尋找隱私、安全性和可擴展性之間的新範式權衡。我們相信其核心理念——代幣分片——達到了這種平衡，並為保護隱私的 LLM 開啟了一個新方向。

我們在攻擊和Cascade方面的工作已被ICML 2025接受，將於7月16日下午4:30（太平洋標準時間）在溫哥華會議中心東展覽廳A-B，E-2612室進行展示。 來和我們聊聊吧！ 🔗

來參加我們在 ICML 的 Ritual 社交活動吧。與我們的 AI 和加密貨幣研究團隊見面，與優秀的人們放鬆心情，並以正確的方式結束你的一天。這是完美的 Ritual。 在這裡註冊：