前回のブログ記事では、プライバシーを保護するLLMスキームを破る方法、つまり、ほぼ完璧な精度で並べ替えられたモデル状態を解読する方法を示しました。 今日は、私たちの防御策であるカスケード🕵️ ♂️✨を紹介します

Cascadeは、「トークンシャーディング」を介して隠された状態を当事者間で分割することにより、LLM推論を保護します—各ノードは順番にいくつかのトークンのみを参照します。ノードのトークンが離れているほど、攻撃のコストは高くなり、距離とともに指数関数的に増加します。

Cascade は推論の忠実度を完全に保持し、近似や固定小数点演算は不要です。計算を CompNodes (MLP 用) と AttnNodes (アテンション用) に分割し、分散ステージ間で正確な結果を保持します。

Cascadeの核心は、再構築攻撃と既知の学習ベースの攻撃の両方に対して堅牢なトークンシャーディングスキームです。この論文では、c-δシャーディングと呼ばれるアプローチが、忠実度を損なうことなく強力なプライバシーを実現することを示しています。

学習ベースの攻撃に対するCascadeのセキュリティについて、広範な実験を行っています。SMPCの正式な保証はありませんが、十分なノードがあれば、Cascadeはこれらの攻撃に対して経験的に堅牢であることを示しています。

Cascade の最も重要な利点は、速度とスケーラビリティです。MPCFormerやPumaなどの既存のSMPCスキームと比較すると、Cascadeは、テストした最も安全な設定(72人の参加者)でさえ、2桁高速です。

Cascade は、プライバシー、セキュリティ、スケーラビリティの間のトレードオフで新しいパラダイムを見つける必要性に動機付けられました。私たちは、その中核となるアイデアであるトークンシャーディングが、そのバランスを取り、プライバシー保護LLMの新たな方向性を開くと信じています。

攻撃とカスケードの両方に関する私たちの研究はICML 2025で採択され、7月16日午後4時30分(太平洋標準時)にバンクーバーコンベンションセンターのイーストエキシビションホールA-B、ルームE-2612で発表されます。 私たちとチャットに来てください! 🔗

ICMLのリチュアルソーシャルにぜひご参加ください。当社のAIおよび暗号研究チームに会い、素晴らしい人々とくつろぎ、一日を正しい方法で締めくくりましょう。それは完璧な儀式です。 こちらからご登録ください。