Em nossa última postagem no blog, mostramos como quebrar esquemas de LLM que preservam a privacidade - decodificando estados de modelo permutados com precisão quase perfeita. Hoje, apresentamos nossa defesa: Cascata 🕵️ ♂️✨

O Cascade protege a inferência do LLM dividindo estados ocultos entre as partes por meio de "fragmentação de token" - cada nó vê apenas alguns tokens em sequência. Quanto mais distantes estiverem os tokens de um nó, maior será o custo de um ataque, crescendo exponencialmente com a distância.

Cascade mantém total fidelidade na inferência - sem aproximações, sem matemática de ponto fixo. Ele divide a computação entre CompNodes (para MLPs) e AttnNodes (para atenção), preservando os resultados exatos em estágios distribuídos.

O ponto crucial do Cascade é um esquema de fragmentação de tokens que é robusto tanto para nosso ataque de reconstrução quanto para ataques baseados em aprendizado conhecidos. Demonstramos no artigo que nossa abordagem, chamada de fragmentação c-δ, alcança uma privacidade forte sem comprometer a fidelidade.

Realizamos experimentos extensivos sobre a segurança do Cascade contra ataques baseados em aprendizado. Embora não tenha as garantias formais do SMPC, demonstramos que, com nós suficientes, o Cascade é empiricamente robusto a esses ataques.

O benefício mais significativo do Cascade é a velocidade e a escalabilidade. Comparado aos esquemas SMPC existentes, como MPCFormer e Puma, o Cascade é 2 ordens de magnitude mais rápido, mesmo a configuração mais segura que testamos (72 participantes):

A Cascade foi motivada pela necessidade de encontrar um novo paradigma na troca entre privacidade, segurança e escalabilidade. Acreditamos que sua ideia central - fragmentação de token - atinge esse equilíbrio e abre uma nova direção para LLMs que preservam a privacidade.

Nosso trabalho no ataque e no Cascade foi aceito no ICML 2025 e será apresentado em 16/07 às 16h30 PST no East Exhibition Hall AB, Sala E-2612, no Centro de Convenções de Vancouver. Venha conversar conosco! 🔗

Junte-se a nós para o ritual social no ICML. Conheça nossa equipe de pesquisa de IA e criptomoedas, relaxe com ótimas pessoas e termine o dia da maneira certa. É o Ritual perfeito. Inscreva-se aqui: