AKTUALIZACE: 10 GPU bylo navrženo pro provoz karpathyho Auto-Research by @invisiblebags, což umožňuje specializovaným AI agentům rychle se samozdokonalovat prostřednictvím kontinuálních experimentů 🤯 Vývojáři, kteří mají zájem o vývoj s Auto-Research, nyní mohou začít s 100 $ v kreditech za cloudovou GPU.

Projekt "autoresearch" jsem zabalil do nového samostatného minimálního repozitáře, pokud by si lidé chtěli zahrát o víkendu. V podstatě jde o tréninkové jádro nanochat LLM zredukované na verzi s jedním GPU a jedním souborem ~630 řádků kódu, pak: - člověk iteruje na zadání (.md) - AI agent iteruje na tréninkovém kódu (.py) Cílem je inženýrsky nasměrovat své agenty tak, aby dělali nejrychlejší výzkumný pokrok neomezeně dlouho a bez vašeho zapojení. Na obrázku je každý bod kompletní tréninkový běh LLM, který trvá přesně 5 minut. Agent pracuje v autonomní smyčce na větvi funkcí git a shromažďuje git commity do trénovacího skriptu, jakmile najde lepší nastavení (s menšími ztrátami validace na konci) architektury neuronové sítě, optimalizátoru, všech hyperparametrů atd. Můžete si představit porovnávat pokrok výzkumu různých zadání, různých agentů atd. Částečně kód, částečně sci-fi a špetka psychózy :)