РТ, чтобы помочь Саймону повысить осведомленность о атаках с использованием инъекций команд в LLM. Это немного похоже на дикий запад ранних вычислений, с компьютерными вирусами (сейчас = злонамеренные команды, скрывающиеся в веб-данных/инструментах) и слабо развитыми защитами (антивирус, или гораздо более развитая парадигма безопасности ядра/пользовательского пространства, где, например, агенту предоставляются очень специфические типы действий вместо возможности запускать произвольные bash-скрипты). Я в замешательстве, потому что хочу быть ранним пользователем агентов LLM в своем личном компьютере, но дикий запад возможностей сдерживает меня.

Я должен уточнить, что риск наивысший, если вы запускаете локальные LLM-агенты (например, Cursor, Claude Code и т.д.). Если вы просто общаетесь с LLM на сайте (например, ChatGPT), риск значительно ниже *если только* вы не начнете включать Коннекторы. Например, я только что увидел, что ChatGPT добавляет поддержку MCP. Это будет особенно плохо сочетаться со всеми недавно добавленными функциями памяти - например, представьте, что ChatGPT рассказывает все, что знает о вас, какому-то злоумышленнику в интернете только потому, что вы отметили неправильный пункт в настройках Коннекторов.