In onze laatste blogpost hebben we laten zien hoe we privacy-beschermende LLM-schema's kunnen doorbreken - het decoderen van permutatie-modeltoestanden met bijna perfecte nauwkeurigheid. Vandaag presenteren we onze verdediging: Cascade 🕵️‍♂️✨

Cascade beveiligt LLM-inferentie door verborgen toestanden te splitsen over partijen via "token sharding"—elke node ziet slechts een paar tokens in volgorde. Hoe verder de tokens van een node uit elkaar liggen, hoe hoger de kosten van een aanval—die exponentieel toenemen met de afstand.

Cascade behoudt volledige nauwkeurigheid in inferentie—geen benaderingen, geen vaste punt wiskunde. Het splitst de berekening tussen CompNodes (voor MLP's) en AttnNodes (voor aandacht), waarbij exacte resultaten worden behouden over gedistribueerde fasen.

De kern van Cascade is een token-sharding schema dat robuust is tegen zowel onze reconstructieaanval als bekende op leermethoden gebaseerde aanvallen. We tonen in het paper aan dat onze aanpak, genaamd c-δ sharding, sterke privacy bereikt zonder in te boeten op de nauwkeurigheid.

We voeren uitgebreide experimenten uit over de beveiliging van Cascade tegen op leren gebaseerde aanvallen. Hoewel het de formele garanties van SMPC mist, tonen we aan dat Cascade, met voldoende knooppunten, empirisch robuust is tegen deze aanvallen.

De belangrijkste voordelen van Cascade zijn snelheid en schaalbaarheid. In vergelijking met bestaande SMPC-schema's zoals MPCFormer en Puma, is Cascade 2 ordes van grootte sneller, zelfs in de meest veilige instelling die we hebben getest (72 deelnemers):

Cascade was gemotiveerd door de behoefte om een nieuw paradigma te vinden in de afweging tussen privacy, beveiliging en schaalbaarheid. We geloven dat het kernidee—token-sharding—die balans vindt en een nieuwe richting opent voor privacy-beschermende LLM's.

Ons werk over zowel de aanval als Cascade is geaccepteerd op ICML 2025 en zal worden gepresenteerd op 16/7 om 16:30 PST in East Exhibition Hall A-B, Kamer E-2612, in het Vancouver Convention Center. Kom met ons praten! 🔗

Kom bij ons voor de Ritual sociale bijeenkomst op ICML. Ontmoet ons AI- en crypto-onderzoeksteam, ontspan met geweldige mensen en sluit je dag op de juiste manier af. Het is de perfecte Ritual. Registreer hier: