Je mehr ich in Goodfire Research eintauche, desto mehr wird mir klar, wie der Bereich der Interpretierbarkeit leise zu einer der interessantesten Grenzen in der KI (und insbesondere in der KI für Wissenschaft) wird. Sie veröffentlichten letztes Jahr diese Forschung mit der Kernidee, wie ein DNA-Grundlagenmodell Arten in seinem Einbettungsraum organisiert, auf eine Weise, die den echten evolutionären Baum des Lebens widerspiegelt. oder im Grunde, wie das Modell die Phylogenie rein aus DNA-Sequenzen neu entdeckte. Sie untersuchten Evo 2 (DNA-Modell, das von EvolutionaryScale entwickelt wurde) und entdeckten, dass: + das Genom jeder Art in eine Vektoreinbettung innerhalb des Modells abgebildet wird. + diese Einbettungen eine gekrümmte geometrische Struktur (eine Mannigfaltigkeit) bilden. + Abstände entlang dieser Mannigfaltigkeit entsprechen dem tatsächlichen evolutionären Abstand zwischen den Arten. Also innerhalb des Modells: ähnliche Arten → nahe Einbettungen distante Arten → entfernte Einbettungen und die Struktur, die entsteht, ist im Wesentlichen der Baum des Lebens. Das könnte etwas bahnbrechendes beweisen, wie Grundlagenmodelle wissenschaftliche Strukturen automatisch neu entdecken können.

Leute, ich denke, das könnte das nächste OpenClaw sein. Karpathy ließ einen KI-Agenten seinen eigenen Code für das Training von neuronalen Netzen zwei Tage lang optimieren. Er führte 700 Experimente autonom durch. Fand 20 Verbesserungen, die er nach monatelangem manuellem Tuning übersehen hatte. 11% Leistungssteigerung. Der Agent fand Bugs. Passte Hyperparameter an. Entdeckte fehlende Regularisierung. Plante seine eigenen Experimente basierend auf vorherigen Ergebnissen. Was tat Karpathy? "programming the program.md" Das ist ein Mann, der diesen genauen Workflow seit 20 Jahren von Hand macht. Er baute den Tesla-Autopiloten. Und seine Reaktion war "wild." Warum ist das auf OpenClaw-Niveau? Weil OpenClaw nicht ein Roboter war, der eine Aufgabe lernte. Es war ein Framework für Agenten, um eine ganze Reihe von Aktionen auszuführen. Das Gleiche ist gerade für Forschung/Experimentierung selbst passiert. Karpathy startet bereits Runde 2 mit Multi-Agenten-Kollaboration. Er sagte es klar: "Alle Frontier Labs werden das tun. Es ist der letzte Bosskampf." Aber zoomt weiter heraus. Sein echter Einblick: "Jede Metrik, die dir wichtig ist und die vernünftig effizient zu bewerten ist, kann von einem Agentenschwarm automatisch erforscht werden." Jede Metrik, die dir wichtig ist und die vernünftig effizient zu bewerten ist, kann von einem Agentenschwarm automatisch erforscht werden. Werbungsausgaben, Lieferkette, Energienetz, Arzneimittelentdeckung, Handelsstrategie usw... Wenn es automatisch erforscht werden kann, wird es automatisch erforscht werden. Jetzt brauchen wir die Infrastruktur für den Schwarm.