În ultima noastră postare pe blog, am arătat cum să spargem schemele LLM care păstrează confidențialitatea - decodarea stărilor modelului permutat cu o precizie aproape perfectă. Astăzi, vă prezentăm apărarea noastră: Cascade 🕵️ ♂️✨

Cascade securizează inferența LLM prin împărțirea stărilor ascunse între părți prin "fragmentarea tokenurilor" - fiecare nod vede doar câteva tokenuri în secvență. Cu cât jetoanele unui nod sunt mai îndepărtate, cu atât costul unui atac este mai mare, crescând exponențial odată cu distanța.

Cascade păstrează fidelitatea deplină în inferență – fără aproximări, fără matematică în virgulă fixă. Împarte calculul între CompNodes (pentru MLP) și AttnNodes (pentru atenție), păstrând rezultatele exacte în etapele distribuite.

Esența Cascade este o schemă de fragmentare a jetoanelor care este robustă atât pentru atacul nostru de reconstrucție, cât și pentru atacurile cunoscute bazate pe învățare. Demonstrăm în lucrare că abordarea noastră, numită c-δ sharding, atinge o confidențialitate puternică fără a compromite fidelitatea.

Efectuăm experimente ample asupra securității Cascade împotriva atacurilor bazate pe învățare. Deși îi lipsesc garanțiile formale ale SMPC, demonstrăm că, cu suficiente noduri, Cascade este empiric robust la aceste atacuri.

Cel mai semnificativ beneficiu al Cascade este viteza și scalabilitatea. În comparație cu schemele SMPC existente, cum ar fi MPCFormer și Puma, Cascade este cu 2 ordine de mărime mai rapid, chiar și cea mai sigură setare pe care am testat-o (72 de participanți):

Cascade a fost motivat de nevoia de a găsi o nouă paradigmă în compromisul dintre confidențialitate, securitate și scalabilitate. Credem că ideea sa de bază – fragmentarea tokenurilor – atinge acest echilibru și deschide o nouă direcție pentru LLM-urile care păstrează confidențialitatea.

Munca noastră atât la atac, cât și la Cascade a fost acceptată la ICML 2025 și va fi prezentată pe 16/7 la ora 16:30 PST în East Exhibition Hall A-B, Camera E-2612, din Centrul de Convenții din Vancouver. Vino și discută cu noi! 🔗

Vino alături de noi pentru ritualul social de la ICML. Faceți cunoștință cu echipa noastră de cercetare AI și cripto, relaxați-vă cu oameni minunați și încheiați-vă ziua în mod corect. Este ritualul perfect. Înregistrați-vă aici: