20 agenter sattes ut igår bland 18 användare. Daglig gräns nådd. Platser fulla. Om du ser fel just nu är vi under underhåll när vi rullar ut vår nya arkitektur. Allt kommer snart att vara uppe igen. Vi har precis börjat.

Moltghost utvecklingsuppdatering Kollade upp Kimi K2 som ett lokalt modellalternativ. Det är en 1T-parameter MoE-modell — även kvantiserad kräver den 500GB+ disk och 200GB+ VRAM. Våra enskilda GPU-pods maxar 45GB, så det är inte genomförbart på nuvarande hårdvara. För tillfället kör vi modeller som passar på enskilda GPU:er som Phi4-Mini och Qwen3 8B, med motiveringsmodeller som DeepSeek-R1 som nästa steg. Stöd för multi-GPU-kluster finns på planen. På utplaceringssidan gick bootstrap från 75 till 19. Vi bakade in OpenClaw- och LLM-vikter i Docker-bilden, tog bort git-pull- och rebuild-loopen och parallelliserade uppstart. Testat över 3 GPU-typer: L4 → 18s bootstrap, totalt ~2:47 A5000 → 19s bootstrap, totalt ~6:18 A40 → 18s bootstrap, totalt ~5:08 Klicka för att leva agent på under 3 minuter på L4. Den kvarvarande flaskhalsen är container init — RunPod drar och extraherar vår 1,3 GB Docker-image till GPU-noden innan vår kod ens körs. Det tar 2 till 5 minuter beroende på vilken nod du landar på och om bilden redan är cachelagrad. Nästa steg är att registrera RunPod-mallar för att förcachelagra bilder över noder, med målet att minska den totala utplaceringen till under 1 minut. Allt detta körs fortfarande på lokal utveckling. Multimodellval är ännu inte i produktion — vi måste fortfarande bygga om Qwen3 8B-bilden för att matcha det uppdaterade systemet innan vi kan göra den offentlig.

Idag försöker vi bygga en ny avbildning för Local LLM med hjälp av Kimi-modellen. Mål: minska tiden för agentprovisionering så att distributioner blir mycket snabbare.