У нашому останньому блозі ми показали, як зламати схеми LLM, що зберігають конфіденційність, — декодування переставлених станів моделі з майже ідеальною точністю. Сьогодні ми представляємо наш захист: Каскад 🕵️ ♂️✨

Cascade забезпечує висновок LLM, розділяючи приховані стани між сторонами за допомогою «шардингу токенів» — кожен вузол бачить лише кілька токенів у послідовності. Чим далі один від одного знаходяться токени вузла, тим вища вартість атаки, яка зростає в геометричній прогресії з відстанню.

Каскад зберігає повну точність висновків — без наближень, без математики з фіксованою комою. Він розділяє обчислення між CompNodes (для MLP) і AttnNodes (для уваги), зберігаючи точні результати на розподілених етапах.

Суть Cascade полягає в схемі шардингу токенів, яка є стійкою як до нашої атаки реконструкції, так і до відомих атак на основі навчання. У статті ми демонструємо, що наш підхід, який називається шардингом c-δ, забезпечує надійну конфіденційність без шкоди для точності.

Ми проводимо масштабні експерименти щодо захисту Cascade від атак, заснованих на навчанні. Хоча йому не вистачає офіційних гарантій SMPC, ми демонструємо, що за наявності достатньої кількості вузлів Cascade емпірично стійкий до цих атак.

Найбільш значущою перевагою Cascade є швидкість і масштабованість. У порівнянні з існуючими SMPC-схемами, такими як MPCFormer і Puma, Cascade на 2 порядки швидше, навіть найбезпечніший сеттинг, який ми протестували (72 учасника):

Cascade був мотивований необхідністю знайти нову парадигму в компромісі між конфіденційністю, безпекою та масштабованістю. Ми вважаємо, що його основна ідея — шардинг токенів — дотримується цього балансу та відкриває новий напрямок для LLM, що зберігають конфіденційність.

Наша робота як над атакою, так і над Cascade була прийнята на ICML 2025 і буде представлена 16.07 о 16:30 за тихоокеанським часом у Східному виставковому залі A-B, кімната E-2612, у конференц-центрі Ванкувера. Приходьте і поспілкуйтеся з нами! 🔗

Приєднуйтесь до нас на Ритуал соціальний в ICML. Познайомтеся з нашою командою дослідників штучного інтелекту та криптовалют, розслабтеся з чудовими людьми та завершіть свій день правильно. Це ідеальний ритуал. Зареєструватися можна тут: