En nuestra última publicación del blog, mostramos cómo romper los esquemas de LLM que preservan la privacidad: decodificando estados de modelo permutados con una precisión casi perfecta. Hoy, presentamos nuestra defensa: Cascade 🕵️‍♂️✨

Cascade asegura la inferencia de LLM dividiendo los estados ocultos entre partes a través de "token sharding"—cada nodo solo ve unos pocos tokens en secuencia. Cuanto más separados estén los tokens de un nodo, mayor será el costo de un ataque—creciendo exponencialmente con la distancia.

Cascade mantiene la fidelidad total en la inferencia: sin aproximaciones, sin matemáticas de punto fijo. Divide el cálculo entre CompNodes (para MLPs) y AttnNodes (para atención), preservando resultados exactos a través de etapas distribuidas.

El núcleo de Cascade es un esquema de fragmentación de tokens que es robusto tanto ante nuestro ataque de reconstrucción como ante ataques basados en el aprendizaje conocidos. Demostramos en el artículo que nuestro enfoque, llamado fragmentación c-δ, logra una fuerte privacidad sin comprometer la fidelidad.

Realizamos experimentos extensos sobre la seguridad de Cascade contra ataques basados en el aprendizaje. Aunque carece de las garantías formales de SMPC, demostramos que con suficientes nodos, Cascade es empíricamente robusto frente a estos ataques.

El beneficio más significativo de Cascade es la velocidad y la escalabilidad. En comparación con los esquemas SMPC existentes como MPCFormer y Puma, Cascade es 2 órdenes de magnitud más rápido, incluso en la configuración más segura que probamos (72 participantes):

Cascade fue motivado por la necesidad de encontrar un nuevo paradigma en el equilibrio entre privacidad, seguridad y escalabilidad. Creemos que su idea central—token-sharding—logra ese equilibrio y abre una nueva dirección para los LLMs que preservan la privacidad.

Nuestro trabajo sobre el ataque y Cascade fue aceptado en ICML 2025, y se presentará el 16 de julio a las 4:30 p.m. PST en el East Exhibition Hall A-B, Sala E-2612, en el Vancouver Convention Center. ¡Ven y charla con nosotros! 🔗

Únete a nosotros para el Ritual social en ICML. Conoce a nuestro equipo de investigación en IA y criptomonedas, relájate con gente genial y termina tu día de la mejor manera. Es el Ritual perfecto. Regístrate aquí: