No nosso último post no blog, mostramos como quebrar esquemas de LLM que preservam a privacidade — decodificando estados de modelo permutados com precisão quase perfeita. Hoje, apresentamos nossa defesa: Cascade 🕵️‍♂️✨

A Cascade assegura a inferência de LLM ao dividir estados ocultos entre partes através de "token sharding"—cada nó vê apenas alguns tokens em sequência. Quanto mais distantes estiverem os tokens de um nó, maior será o custo de um ataque—crescendo exponencialmente com a distância.

O Cascade mantém total fidelidade na inferência—sem aproximações, sem matemática de ponto fixo. Ele divide a computação entre CompNodes (para MLPs) e AttnNodes (para atenção), preservando resultados exatos em estágios distribuídos.

O cerne do Cascade é um esquema de fragmentação de tokens que é robusto tanto ao nosso ataque de reconstrução quanto a ataques baseados em aprendizado conhecidos. Demonstramos no artigo que nossa abordagem, chamada fragmentação c-δ, alcança uma forte privacidade sem comprometer a fidelidade.

Realizamos extensos experimentos sobre a segurança do Cascade contra ataques baseados em aprendizado. Embora não possua as garantias formais do SMPC, demonstramos que, com nós suficientes, o Cascade é empiricamente robusto a esses ataques.

O benefício mais significativo do Cascade é a velocidade e escalabilidade. Comparado a esquemas SMPC existentes como o MPCFormer e o Puma, o Cascade é 2 ordens de magnitude mais rápido, mesmo na configuração mais segura que testámos (72 participantes):

A Cascade foi motivada pela necessidade de encontrar um novo paradigma na troca entre privacidade, segurança e escalabilidade. Acreditamos que a sua ideia central—token-sharding—alcança esse equilíbrio e abre uma nova direção para LLMs que preservam a privacidade.

O nosso trabalho tanto sobre o ataque quanto sobre o Cascade foi aceito na ICML 2025 e será apresentado no dia 16/07 às 16:30 PST no East Exhibition Hall A-B, Sala E-2612, no Vancouver Convention Center. Venha conversar connosco! 🔗

Venha juntar-se a nós para o Ritual social no ICML. Conheça a nossa equipa de pesquisa em IA e criptomoeda, descontrair com pessoas incríveis e termine o seu dia da melhor maneira. É o Ritual perfeito. Registe-se aqui: