V našem posledním příspěvku na blogu jsme si ukázali, jak prolomit schémata LLM zachovávající soukromí – dekódovat permutované stavy modelu s téměř dokonalou přesností. Dnes vám představíme naši obranu: Kaskáda 🕵️ ♂️✨

Cascade zabezpečuje odvozování LLM rozdělením skrytých stavů mezi strany prostřednictvím "shardingu tokenů" – každý uzel vidí pouze několik tokenů v sekvenci. Čím dále jsou tokeny uzlu od sebe, tím vyšší jsou náklady na útok – exponenciálně rostou se vzdáleností.

Kaskáda zachovává plnou věrnost odvozování – žádné aproximace, žádná matematika s pevnou desetinnou čárkou. Rozděluje výpočty mezi CompNodes (pro MLP) a AttnNodes (pro pozornost) a zachovává přesné výsledky napříč distribuovanými fázemi.

Jádrem Cascade je schéma dělení tokenů, které je robustní jak vůči našemu rekonstrukčnímu útoku, tak vůči známým útokům založeným na učení. V článku ukazujeme, že náš přístup, nazývaný c-δ sharding, dosahuje silného soukromí, aniž by byla ohrožena věrnost.

Provádíme rozsáhlé experimenty týkající se zabezpečení Cascade proti útokům založeným na učení. I když postrádá formální záruky SMPC, ukazujeme, že s dostatkem uzlů je Cascade empiricky odolný vůči těmto útokům.

Nejvýznamnější výhodou Cascade je rychlost a škálovatelnost. Ve srovnání se stávajícími schématy SMPC jako MPCFormer a Puma je Cascade o 2 řády rychlejší, a to i v nejbezpečnějším nastavení, které jsme testovali (72 účastníků):

Společnost Cascade byla motivována potřebou najít nové paradigma v kompromisu mezi soukromím, bezpečností a škálovatelností. Věříme, že jeho základní myšlenka – token-sharding – dosahuje této rovnováhy a otevírá nový směr pro LLM chránící soukromí.

Naše práce na útoku i Kaskádě byla přijata na ICML 2025 a bude prezentována 16. 7. v 16:30 PST ve východní výstavní hale A-B, místnost E-2612, ve Vancouverském kongresovém centru. Pojďte si s námi popovídat! 🔗

Přijďte se k nám zúčastnit rituálního společenského setkání v ICML. Seznamte se s naším výzkumným týmem v oblasti umělé inteligence a kryptoměn, odpočiňte si se skvělými lidmi a zakončete svůj den tím správným způsobem. Je to dokonalý rituál. Zaregistrujte se zde: