AKTUALIZACJA: 10 GPU zostało przydzielonych do uruchomienia Auto-Research karpathy'ego przez @invisiblebags, co umożliwia niszowym agentom AI szybkie samodoskonalenie się poprzez ciągłe eksperymentowanie 🤯 Budowniczowie zainteresowani rozwijaniem Auto-Research mogą teraz rozpocząć z kredytami na GPU w chmurze o wartości 100 USD.

Spakowałem projekt "autoresearch" do nowego, samodzielnego minimalnego repozytorium, jeśli ktoś chciałby się pobawić w weekend. To w zasadzie rdzeń treningowy nanochat LLM, uproszczony do wersji na jeden GPU, w jednym pliku o długości ~630 linii kodu, a następnie: - człowiek iteruje nad promptem (.md) - agent AI iteruje nad kodem treningowym (.py) Celem jest zaprojektowanie swoich agentów, aby osiągały najszybszy postęp w badaniach w nieskończoność, bez jakiegokolwiek twojego zaangażowania. Na obrazku każda kropka to pełne uruchomienie treningu LLM, które trwa dokładnie 5 minut. Agent działa w autonomicznej pętli na gałęzi funkcji git i gromadzi commity git do skryptu treningowego, gdy znajduje lepsze ustawienia (o niższej stracie walidacyjnej na końcu) architektury sieci neuronowej, optymalizatora, wszystkich hiperparametrów itd. Możesz sobie wyobrazić porównywanie postępu badań różnych promptów, różnych agentów itd. Część kodu, część sci-fi i szczypta psychozy :)