I vårt forrige blogginnlegg viste vi hvordan du kan bryte personvernbevarende LLM-ordninger – dekoding av permuterte modelltilstander med nesten perfekt nøyaktighet. I dag presenterer vi vårt forsvar: Cascade 🕵️ ♂️✨

Cascade sikrer LLM-slutning ved å dele skjulte tilstander på tvers av parter via "token-sharding" – hver node ser bare noen få tokens i rekkefølge. Jo lenger fra hverandre en nodes tokens er, jo høyere er kostnadene for et angrep – og vokser eksponentielt med avstanden.

Cascade beholder full troskap i slutninger – ingen tilnærminger, ingen fikspunktmatematikk. Den deler beregninger mellom CompNodes (for MLP-er) og AttnNodes (for oppmerksomhet), og bevarer nøyaktige resultater på tvers av distribuerte stadier.

Kjernen i Cascade er et token-sharding-opplegg som er robust for både rekonstruksjonsangrep og kjente læringsbaserte angrep. Vi demonstrerer i artikkelen at vår tilnærming, kalt c-δ sharding, oppnår sterkt personvern uten at det går på bekostning av gjengivelse.

Vi utfører omfattende eksperimenter på Cascades sikkerhet mot læringsbaserte angrep. Selv om den mangler SMPCs formelle garantier, viser vi at med nok noder er Cascade empirisk robust for disse angrepene.

Cascades viktigste fordel er hastighet og skalerbarhet. Sammenlignet med eksisterende SMPC-ordninger som MPCFormer og Puma, er Cascade 2 størrelsesordener raskere, selv den sikreste innstillingen vi testet (72 deltakere):

Cascade var motivert av behovet for å finne et nytt paradigme i avveiningen mellom personvern, sikkerhet og skalerbarhet. Vi tror kjerneideen – token-sharding – finner denne balansen og åpner en ny retning for personvernbevarende LLM-er.

Vårt arbeid med både angrepet og Cascade ble akseptert på ICML 2025, og vil bli presentert 16/7 kl. 16:30 PST i East Exhibition Hall A-B, rom E-2612, i Vancouver Convention Center. Kom og prat med oss! 🔗

Bli med oss på Ritual Social på ICML. Møt vårt AI- og kryptoforskningsteam, slapp av med flotte mennesker, og avslutt dagen på riktig måte. Det er det perfekte ritualet. Registrer deg her: