🚨 Přestaňte hádat, jaký AI model váš počítač skutečně zvládne. Tento nástroj naskenuje váš hardware a přesně vám řekne, které LLM budou fungovat. Jeden příkaz. Jmenuje se to LLMFIT. 497 modelů. 133 poskytovatelů. Kontroluje RAM, CPU a GPU a pak seřadí každý model podle toho, co se hodí. Už žádné stahování modelu 70B jen proto, abyste sledovali, jak spadá. Tady je, co to dělá: → Detekuje přesně váš hardware (NVIDIA, AMD, Intel Arc, Apple Silicon) → Vybere nejlepší kvantizaci, která odpovídá vaší paměti → Každému modelu hodnotí kvalitu, rychlost, padnutí a délku kontextu → Automaticky zpracovává multi-GPU sestavy a architektury MoE → se připojuje k Ollama, takže si můžete okamžitě stáhnout nejlepší zápas Tady je ta nejdivočejší část: Mixtral 8x7B má celkové parametry 46,7B. Většina nástrojů si myslí, že potřebujete 24GB VRAM. Ale na jeden token je aktivních pouze 12,9B parametrů. LLMFIT to ví. Skutečný požadavek má na ~6,6GB. Už jen tahle funkce odemyká modely, o kterých si lidé mysleli, že je nemohou provozovat. Instalace piva LLMFIT 6,5 tisíc hvězd na GitHubu. Zabudované v Rustu. Licence MIT. 100% open source.