I vårt senaste blogginlägg visade vi hur man bryter integritetsbevarande LLM-scheman - avkodning av permuterade modelltillstånd med nästan perfekt noggrannhet. Idag presenterar vi vårt försvar: Cascade 🕵️ ♂️✨

Cascade säkrar LLM-inferens genom att dela upp dolda tillstånd mellan parter via "token sharding" – varje nod ser bara några få tokens i följd. Ju längre ifrån varandra en nods tokens är, desto högre blir kostnaden för en attack – den växer exponentiellt med avståndet.

Cascade behåller fullständig återgivning i slutsatsdragningen – inga approximationer, ingen matematik med fasta punkter. Den delar upp beräkningen mellan CompNodes (för MLP:er) och AttnNodes (för uppmärksamhet), vilket bevarar exakta resultat över distribuerade steg.

Kärnan i Cascade är ett token-sharding-schema som är robust för både vår rekonstruktionsattack och kända inlärningsbaserade attacker. Vi visar i artikeln att vår metod, som kallas c-δ sharding, uppnår stark integritet utan att kompromissa med återgivningen.

Vi utför omfattande experiment på Cascades säkerhet mot inlärningsbaserade attacker. Även om det saknar SMPC:s formella garantier, visar vi att med tillräckligt många noder är Cascade empiriskt robust mot dessa attacker.

Cascades viktigaste fördel är hastighet och skalbarhet. Jämfört med befintliga SMPC-system som MPCFormer och Puma är Cascade 2 storleksordningar snabbare, även den säkraste inställningen vi testade (72 deltagare):

Cascade motiverades av behovet av att hitta ett nytt paradigm i avvägningen mellan integritet, säkerhet och skalbarhet. Vi tror att dess kärnidé – token-sharding – skapar den balansen och öppnar en ny riktning för integritetsbevarande LLM:er.

Vårt arbete med både attacken och Cascade accepterades på ICML 2025 och kommer att presenteras den 16/7 kl. 16:30 PST i East Exhibition Hall A-B, rum E-2612, i Vancouver Convention Center. Kom och chatta med oss! 🔗

Kom och delta i den rituella samkväten på ICML. Möt vårt AI- och kryptoforskningsteam, varva ner med fantastiska människor och avsluta dagen på rätt sätt. Det är den perfekta ritualen. Anmäl dig här: