Dans notre dernier article de blog, nous avons montré comment contourner les schémas LLM préservant la vie privée — décodage des états de modèle permutés avec une précision presque parfaite. Aujourd'hui, nous présentons notre défense : Cascade 🕵️‍♂️✨

Cascade sécurise l'inférence LLM en divisant les états cachés entre les parties via le "token sharding"—chaque nœud ne voit qu'un petit nombre de tokens en séquence. Plus les tokens d'un nœud sont éloignés, plus le coût d'une attaque est élevé—croissant de manière exponentielle avec la distance.

Cascade conserve une fidélité totale lors de l'inférence : pas d'approximations, pas de mathématiques à virgule fixe. Il divise le calcul entre les CompNodes (pour les MLP) et les AttnNodes (pour l'attention), préservant des résultats exacts à travers les étapes distribuées.

Le cœur de Cascade est un schéma de fragmentation de jetons qui est robuste à la fois contre notre attaque de reconstruction et contre les attaques basées sur l'apprentissage connues. Nous démontrons dans le document que notre approche, appelée fragmentation c-δ, atteint une forte confidentialité sans compromettre la fidélité.

Nous réalisons des expériences approfondies sur la sécurité de Cascade contre les attaques basées sur l'apprentissage. Bien qu'il manque les garanties formelles de SMPC, nous démontrons qu'avec suffisamment de nœuds, Cascade est empiriquement robuste face à ces attaques.

Le principal avantage de Cascade est sa rapidité et sa scalabilité. Comparé aux schémas SMPC existants comme MPCFormer et Puma, Cascade est 2 ordres de grandeur plus rapide, même dans le cadre le plus sécurisé que nous avons testé (72 participants) :

Cascade a été motivé par le besoin de trouver un nouveau paradigme dans le compromis entre la confidentialité, la sécurité et l'évolutivité. Nous croyons que son idée centrale—le token-sharding—atteint cet équilibre et ouvre une nouvelle direction pour les LLM préservant la confidentialité.

Notre travail sur l'attaque et Cascade a été accepté à ICML 2025, et sera présenté le 16/07 à 16h30 PST dans le Hall d'Exposition Est A-B, Salle E-2612, au Centre des Congrès de Vancouver. Venez discuter avec nous ! 🔗

Venez nous rejoindre pour le Rituel social à ICML. Rencontrez notre équipe de recherche en IA et en crypto, détendez-vous avec des gens formidables et terminez votre journée de la meilleure façon. C'est le Rituel parfait. Inscrivez-vous ici :