W naszym ostatnim wpisie na blogu pokazaliśmy, jak złamać schematy LLM chroniące prywatność — dekodując permutowane stany modelu z niemal doskonałą dokładnością. Dziś przedstawiamy naszą obronę: Cascade 🕵️‍♂️✨

Cascade zabezpiecza wnioskowanie LLM poprzez dzielenie ukrytych stanów pomiędzy strony za pomocą "token sharding"—każdy węzeł widzi tylko kilka tokenów w sekwencji. Im dalej od siebie znajdują się tokeny węzła, tym wyższy koszt ataku—rosnący wykładniczo wraz z odległością.

Cascade zachowuje pełną wierność wnioskowaniu — bez przybliżeń, bez matematyki stałoprzecinkowej. Dzieli obliczenia między CompNodes (dla MLP) i AttnNodes (dla uwagi), zachowując dokładne wyniki w różnych etapach rozproszonych.

Sedno Cascade to schemat podziału tokenów, który jest odporny zarówno na nasze ataki rekonstrukcyjne, jak i znane ataki oparte na uczeniu. W artykule pokazujemy, że nasze podejście, zwane c-δ sharding, osiąga silną prywatność bez kompromisów w zakresie wierności.

Przeprowadzamy obszerne eksperymenty dotyczące bezpieczeństwa Cascade przed atakami opartymi na uczeniu. Chociaż brakuje mu formalnych gwarancji SMPC, pokazujemy, że przy wystarczającej liczbie węzłów, Cascade jest empirycznie odporny na te ataki.

Najważniejszą zaletą Cascade jest szybkość i skalowalność. W porównaniu do istniejących schematów SMPC, takich jak MPCFormer i Puma, Cascade jest o 2 rzędy wielkości szybszy, nawet w najbardziej bezpiecznym ustawieniu, które testowaliśmy (72 uczestników):

Cascade był motywowany potrzebą znalezienia nowego paradygmatu w równowadze między prywatnością, bezpieczeństwem a skalowalnością. Wierzymy, że jego podstawowa idea—token-sharding—osiąga tę równowagę i otwiera nowy kierunek dla LLM-ów zachowujących prywatność.

Nasza praca zarówno nad atakiem, jak i Cascade została zaakceptowana na ICML 2025 i zostanie zaprezentowana 16 lipca o 16:30 PST w East Exhibition Hall A-B, w sali E-2612, w Vancouver Convention Center. Przyjdź i porozmawiaj z nami! 🔗

Dołącz do nas na Ritual social podczas ICML. Poznaj nasz zespół badawczy zajmujący się AI i kryptowalutami, zrelaksuj się w towarzystwie wspaniałych ludzi i zakończ swój dzień w odpowiedni sposób. To idealny Ritual. Zarejestruj się tutaj: