Im więcej zagłębiam się w Goodfire Research, tym bardziej zdaję sobie sprawę, że gałąź interpretowalności cicho staje się jedną z najciekawszych granic w AI (a zwłaszcza AI dla nauki) Opublikowali w zeszłym roku badania z podstawową ideą, jak model podstawowy DNA wewnętrznie organizuje gatunki w swojej przestrzeni osadzeń w sposób, który odzwierciedla prawdziwe ewolucyjne drzewo życia. czy w zasadzie jak model na nowo odkrył filogenezy wyłącznie na podstawie sekwencji DNA. badali Evo 2 (model DNA opracowany przez EvolutionaryScale) i odkryli, że: + genom każdego gatunku jest mapowany na wektor osadzenia wewnątrz modelu. + te osadzenia tworzą zakrzywioną strukturę geometryczną (manifold). + odległości wzdłuż tego manifold odpowiadają rzeczywistej odległości ewolucyjnej między gatunkami. więc wewnątrz modelu: gatunki podobne → bliskie osadzenia gatunki odległe → dalekie osadzenia a struktura, która się wyłania, to w zasadzie drzewo życia. To może dowodzić czegoś przełomowego, jak modele podstawowe mogą automatycznie na nowo odkrywać struktury naukowe.

chłopaki, myślę, że to może być następny openclaw. karpathy pozwolił agentowi AI optymalizować swój własny kod treningowy sieci neuronowej przez 2 dni. przeprowadził 700 eksperymentów autonomicznie. znalazł 20 ulepszeń, które przeoczył po miesiącach ręcznego dostrajania. 11% wzrost wydajności. agent znalazł błędy. dostroił hiperparametry. odkrył brakującą regularyzację. zaplanował własne eksperymenty na podstawie wcześniejszych wyników. co zrobił karpathy? "programowanie programu.md" to człowiek, który przez 20 lat wykonywał ten sam proces ręcznie. zbudował autopilota tesli. a jego reakcja była "dzikie." dlaczego to poziom openclaw? ponieważ openclaw nie był jednym robotem uczącym się jednego zadania. to był framework dla agentów do podejmowania całego zestawu działań. to samo właśnie wydarzyło się w badaniach/eksperymentach. karpathy już uruchamia rundę 2 z współpracą wielu agentów. powiedział to wprost: "wszystkie laboratoria na granicy będą to robić. to jest ostateczna walka z bossem." ale spójrz dalej. jego prawdziwy wgląd: "każda metryka, która cię interesuje i jest rozsądnie wydajna do oceny, może być autoresearchowana przez rój agentów." każda metryka, która cię interesuje i jest rozsądnie wydajna do oceny, może być autoresearchowana przez rój agentów. wydatki na reklamy, łańcuch dostaw, sieć energetyczna, odkrywanie leków, strategia handlowa itd... jeśli może być autoresearchowana, to będzie autoresearchowana. teraz potrzebujemy infrastruktury dla roju.