Più approfondisco Goodfire Research, più mi rendo conto di come il ramo dell'interpretabilità stia silenziosamente diventando una delle frontiere più interessanti nell'AI (e soprattutto nell'AI per la Scienza) Hanno pubblicato questa ricerca lo scorso anno con l'idea centrale di come un modello fondazionale del DNA organizzi internamente le specie nel suo spazio di embedding in un modo che rispecchia il vero albero evolutivo della vita. o fondamentalmente come il modello ha riscoperto la filogenesi puramente a partire dalle sequenze di DNA. hanno studiato Evo 2 (modello DNA sviluppato da EvolutionaryScale) e hanno scoperto che: + il genoma di ogni specie viene mappato a un embedding vettoriale all'interno del modello. + questi embedding formano una struttura geometrica curva (un varietà). + le distanze lungo questa varietà corrispondono alla reale distanza evolutiva tra le specie. quindi all'interno del modello: specie simili → embedding vicini specie distanti → embedding lontani e la struttura che emerge è essenzialmente l'albero della vita. Questo potrebbe dimostrare qualcosa di rivoluzionario su come i modelli fondazionali possano riscoprire automaticamente strutture scientifiche.

ragazzi, penso che questo potrebbe essere il prossimo openclaw. karpathy ha lasciato che un agente AI ottimizzasse il proprio codice di addestramento della rete neurale per 2 giorni. ha eseguito 700 esperimenti in modo autonomo. ha trovato 20 miglioramenti che gli erano sfuggiti dopo mesi di regolazioni manuali. guadagno di prestazioni dell'11%. l'agente ha trovato bug. ha sintonizzato gli iperparametri. ha scoperto la regolarizzazione mancante. ha pianificato i propri esperimenti basandosi sui risultati precedenti. cosa ha fatto karpathy? "programming the program.md" questo è un uomo che ha fatto esattamente questo flusso di lavoro a mano per 20 anni. ha costruito il pilota automatico di tesla. e la sua reazione è stata "incredibile." perché è a livello openclaw? perché openclaw non era un robot che imparava un compito. era un framework per agenti per intraprendere un'intera serie di azioni. la stessa cosa è appena successa per la ricerca/sperimentazione stessa. karpathy sta già avviando il round 2 con collaborazione multi-agente. l'ha detto chiaramente: "tutti i laboratori di frontiera faranno questo. è la battaglia finale." ma zooma ulteriormente. la sua vera intuizione: "qualsiasi metrica a cui tieni e che è ragionevolmente efficiente da valutare può essere autorecercata da uno sciame di agenti." qualsiasi metrica a cui tieni e che è ragionevolmente efficiente da valutare può essere autorecercata da uno sciame di agenti. spese pubblicitarie, catena di approvvigionamento, rete energetica, scoperta di farmaci, strategia di trading, ecc... se può essere autorecercata, sarà autorecercata. ora abbiamo bisogno dell'infrastruttura per lo sciame.