في آخر منشور على مدونتنا ، أوضحنا كيفية كسر مخططات LLM التي تحافظ على الخصوصية - فك تشفير حالات النموذج المبدلة بدقة شبه مثالية. اليوم ، نقدم دفاعنا: تتالي 🕵️ ♂️✨

يؤمن Cascade استدلال LLM عن طريق تقسيم الحالات المخفية عبر الأطراف عبر "تجزئة الرمز المميز" - لا ترى كل عقدة سوى عدد قليل من الرموز المميزة بالتسلسل. كلما كانت الرموز المميزة للعقدة بعيدة عن بعضها البعض ، زادت تكلفة الهجوم - تنمو بشكل كبير مع المسافة.

تحتفظ Cascade بالدقة الكاملة في الاستدلال - لا توجد تقريبات ، ولا توجد حسابات ثابتة. يقسم الحساب بين CompNodes (ل MLPs) و AttnNodes (للانتباه) ، مع الحفاظ على النتائج الدقيقة عبر المراحل الموزعة.

جوهر Cascade هو مخطط تقسيم الرمز المميز القوي لكل من هجوم إعادة الإعمار والهجمات القائمة على التعلم المعروفة. نوضح في الورقة أن نهجنا ، المسمى c-δ sharding ، يحقق خصوصية قوية دون المساس بالصدق.

نجري تجارب مكثفة على أمان Cascade ضد الهجمات القائمة على التعلم. على الرغم من أنها تفتقر إلى الضمانات الرسمية ل SMPC ، إلا أننا نوضح أنه مع وجود عقد كافية ، فإن Cascade قوية تجريبيا لهذه الهجمات.

أهم فائدة ل Cascade هي السرعة وقابلية التوسع. بالمقارنة مع مخططات SMPC الحالية مثل MPCFormer و Puma ، فإن Cascade أسرع بمقدار 2 من حيث الحجم ، حتى الإعداد الأكثر أمانا الذي اختبرناه (72 مشاركا):

كان الدافع وراء Cascade هو الحاجة إلى إيجاد نموذج جديد في المفاضلة بين الخصوصية والأمان وقابلية التوسع. نعتقد أن فكرتها الأساسية - تقسيم الرمز المميز - تحقق هذا التوازن وتفتح اتجاها جديدا لأنظمة القانون التي تحافظ على الخصوصية.

تم قبول عملنا في كل من الهجوم و Cascade في ICML 2025 ، وسيتم تقديمه في 7/16 الساعة 4:30 مساء بتوقيت المحيط الهادي في قاعة المعارض الشرقية A-B ، الغرفة E-2612 ، في مركز مؤتمرات فانكوفر. تعال والدردشة معنا! 🔗

تعال وانضم إلينا في Ritual Social في ICML. تعرف على فريق أبحاث الذكاء الاصطناعي والعملات المشفرة لدينا ، واسترخ مع أشخاص رائعين ، وقم بإنهاء يومك بالطريقة الصحيحة. إنها الطقوس المثالية. سجل هنا: