Ho impacchettato il progetto "autoresearch" in un nuovo repository minimale e autonomo se le persone vogliono provare durante il fine settimana. È fondamentalmente il nucleo di addestramento LLM di nanochat ridotto a una versione a singolo GPU, un file di circa 630 righe di codice, poi: - l'umano itera sul prompt (.md) - l'agente AI itera sul codice di addestramento (.py) L'obiettivo è ingegnerizzare i tuoi agenti per fare il progresso di ricerca più veloce indefinitamente e senza alcun tuo coinvolgimento. Nell'immagine, ogni punto è un'esecuzione completa di addestramento LLM che dura esattamente 5 minuti. L'agente lavora in un ciclo autonomo su un ramo di funzionalità git e accumula commit git allo script di addestramento mentre trova impostazioni migliori (con una perdita di validazione più bassa alla fine) dell'architettura della rete neurale, dell'ottimizzatore, di tutti gli iperparametri, ecc. Puoi immaginare di confrontare il progresso della ricerca di diversi prompt, diversi agenti, ecc. Parte codice, parte fantascienza e un pizzico di psicosi :)