Nel nostro ultimo post del blog, abbiamo mostrato come rompere gli schemi LLM che preservano la privacy — decodificando gli stati del modello permutati con un'accuratezza quasi perfetta. Oggi presentiamo la nostra difesa: Cascade 🕵️‍♂️✨

Cascade garantisce la sicurezza dell'inferenza LLM suddividendo gli stati nascosti tra le parti tramite "token sharding"—ogni nodo vede solo alcuni token in sequenza. Più lontani sono i token di un nodo, maggiore è il costo di un attacco—che cresce esponenzialmente con la distanza.

Cascade mantiene la piena fedeltà nell'inferenza: nessuna approssimazione, nessuna matematica a punto fisso. Divide il calcolo tra CompNodes (per MLP) e AttnNodes (per l'attenzione), preservando risultati esatti attraverso le fasi distribuite.

Il fulcro di Cascade è uno schema di token-sharding che è robusto sia contro il nostro attacco di ricostruzione che contro attacchi noti basati sull'apprendimento. Dimostriamo nel documento che il nostro approccio, chiamato sharding c-δ, raggiunge una forte privacy senza compromettere la fedeltà.

Eseguiamo ampi esperimenti sulla sicurezza di Cascade contro attacchi basati sull'apprendimento. Sebbene manchi delle garanzie formali di SMPC, dimostriamo che con un numero sufficiente di nodi, Cascade è empiricamente robusto a questi attacchi.

Il beneficio più significativo di Cascade è la velocità e la scalabilità. Rispetto agli schemi SMPC esistenti come MPCFormer e Puma, Cascade è 2 ordini di grandezza più veloce, anche nella configurazione più sicura che abbiamo testato (72 partecipanti):

Cascade è stata motivata dalla necessità di trovare un nuovo paradigma nel compromesso tra privacy, sicurezza e scalabilità. Crediamo che la sua idea centrale—token-sharding—raggiunga quel equilibrio e apra una nuova direzione per i LLM che preservano la privacy.

Il nostro lavoro sia sull'attacco che su Cascade è stato accettato all'ICML 2025 e sarà presentato il 16/07 alle 16:30 PST nella East Exhibition Hall A-B, Sala E-2612, presso il Vancouver Convention Center. Vieni a chiacchierare con noi! 🔗

Come join us for the Ritual social at ICML. Meet our AI and crypto research team, unwind with great people, and end your day the right way. It’s the perfect Ritual. Register here: