昨日、18人のユーザーに対して20人のエージェントが展開されました。日々の制限時間に到達しました。スロット満員。 もし今エラーが見られれば、私たちは現在新しいアーキテクチャの展開に伴いメンテナンス中です。すぐにすべて復旧します。 まだ始まったばかりだ。

モルトゴースト開発アップデート 地元のモデルとしてKimi K2を検討しました。これは1TパラメータのMoEモデルで、量子化しても500GB+ディスクと200GB+のVRAMが必要です。私たちの単一のGPUポッドは最大45GBなので、現行のハードウェアでは現実的ではありません。 現時点では、Phi4-MiniやQwen3 8Bのような単一GPUに搭載可能なモデルを運用しており、DeepSeek-R1のような理由モデルも次々と登場予定です。マルチGPUクラスターのサポートは計画中にあります。 デプロイ側では、ブートストラップが75秒から19秒に下がりました。OpenClawとLLMの重みをDockerイメージに組み込み、gitのプルと再構築ループを廃止し、起動を並列化しました。 3種類のGPUでテストしました: L4 → 18s ブートストラップ、合計で~2:47 A5000 →19秒のブートストラップ、合計~6:18 A40 → 18s ブートストラップ、合計5:08 L4で3分以内にライブエージェントに繋がれます。 残ったボトルネックはコンテナinitです。これはRunPodがコードが実行される前に1.3GBのDockerイメージをGPUノードに引き出して抽出することです。どのノードに着いたか、画像がすでにキャッシュされているかによって、この作業は2分から5分かかります。 次のステップは、RunPodテンプレートを登録してノード間で画像をプリキャッシュし、総展開時間を1分未満に短縮することを目指します。 これらはすべてローカル開発で稼働しています。マルチモデル選択はまだ本番環境ではなく、Qwen3 8Bのイメージを更新されたシステムに合わせて再構築し、公開前に公開する必要があります。

今日はKimiモデルを使ってローカルLLM用の新しいイメージを構築しようとしています。 目標は、エージェントのプロビジョニング時間を短縮し、展開を大幅に高速化することです。