RTは、SimonがLLMにおける即時インジェクション攻撃に対する認識を高めるのを支援する。 コンピュータウイルス(現在は=Webデータ/ツールに隠れている悪意のあるプロンプト)があり、十分に発達していない防御(アンチウイルス、またはエージェントに任意のbashスクリプトを実行する能力ではなく、非常に特定のアクションタイプが与えられるなど、より開発されたカーネル/ユーザースペースセキュリティパラダイム)を備えた、初期のコンピューティングの西部開拓時代に少し似ているように感じます。 私は自分のパーソナルコンピューティングでLLMエージェントを早期に採用したいのですが、可能性のワイルドウェストが私を妨げているので、葛藤しています。

私は、ローカルLLMエージェント(Cursor、Claude Codeなど)を実行している場合にリスクが最も高くなることを明確にする必要があります。 Webサイト(ChatGPTなど)でLLMと話しているだけの場合、コネクタをオンにし始めない限り、リスクははるかに低くなります。例えば、ChatGPTがMCPサポートを追加しているのを見ました。これは、最近追加されたすべてのメモリ機能と特にうまく組み合わせられません-たとえば、コネクタ設定で間違ったボックスにチェックを入れたからといって、ChatGPTがインターネット上の攻撃者にあなたについて知っているすべてのことを話すことを想像してみてください。