В нашем последнем блоге мы показали, как разрушить схемы LLM, сохраняющие конфиденциальность — декодируя перемешанные состояния модели с почти идеальной точностью. Сегодня мы представляем нашу защиту: Cascade 🕵️‍♂️✨

Cascade обеспечивает безопасность вывода LLM, разделяя скрытые состояния между участниками с помощью "разделения токенов" — каждый узел видит только несколько токенов в последовательности. Чем дальше токены узла, тем выше стоимость атаки — она растет экспоненциально с увеличением расстояния.

Cascade сохраняет полную точность в выводе — без приближений, без фиксированной арифметики. Он разделяет вычисления между CompNodes (для MLP) и AttnNodes (для внимания), сохраняя точные результаты на всех распределенных этапах.

Суть Cascade заключается в схеме токен-шейдинга, которая устойчива как к нашей атаке восстановления, так и к известным атакам на основе обучения. В статье мы демонстрируем, что наш подход, называемый c-δ шейдингом, обеспечивает высокую степень конфиденциальности без ущерба для точности.

Мы проводим обширные эксперименты по безопасности Cascade против атак на основе обучения. Хотя у него нет формальных гарантий SMPC, мы демонстрируем, что при достаточном количестве узлов Cascade эмпирически устойчива к этим атакам.

Наиболее значительное преимущество Cascade — это скорость и масштабируемость. По сравнению с существующими схемами SMPC, такими как MPCFormer и Puma, Cascade в 100 раз быстрее, даже в самом безопасном режиме, который мы тестировали (72 участника):

Cascade был мотивирован необходимостью найти новую парадигму в компромиссе между конфиденциальностью, безопасностью и масштабируемостью. Мы считаем, что его основная идея — токен-шейдинг — достигает этого баланса и открывает новое направление для LLM, сохраняющих конфиденциальность.

Наша работа как по атаке, так и по Cascade была принята на ICML 2025 и будет представлена 16 июля в 16:30 по тихоокеанскому времени в Восточном выставочном зале A-B, комната E-2612, в Ванкуверском конференц-центре. Приходите и пообщайтесь с нами! 🔗

Присоединяйтесь к нам на социальном мероприятии Ritual на ICML. Встретьтесь с нашей командой по исследованию ИИ и криптовалют, расслабьтесь с замечательными людьми и завершите свой день правильно. Это идеальный Ritual. Зарегистрируйтесь здесь: