Toto je skvělá přednáška od Cholleta o cestě k AGI a o tom, proč nás tam samotné škálování (a dokonce ani škálování + uvažování CoT) dostane. Odkaz na video níže. Diskutuje o abstrakci, symbolickém uvažování, spojité vs diskrétní optimalizaci (prohledávání programů) a mnoha dalších důležitých tématech. Všimněte si, že stále používá termín "fluidní inteligence". $trillions a geostrategická dominance jsou v sázce, takže výzkumníci umělé inteligence musí být realističtí ohledně toho, co je to "inteligence". Nakonec znovu vytvoří metody psychometrie (nyní aplikované na umělé inteligence místo na lidi), které byly z velké části vyhnány z akademické sféry woke stupiditou.

Lidé mají diskrétní kombinatorické myšlení, ve kterém současní LLM nejsou dobří. Konkrétně lidé mohou kombinovat diskrétní moduly s abstrahovanými vlastnostmi a vytvářet tak mentální obrazy složitých programů. Lidský mozek může samozřejmě používat nějaký druh kontinuální "metriky vzdálenosti" heuristiky v pozadí, aby mohl odhadovat / mít intuici o tomto diskrétním kombinatorickém procesu. Chollet navrhuje, že potřebujeme zabudovat schopnost umělé inteligence vložit kombinatorický problém (s abstrahovanými vlastnostmi pro moduly) do latentního prostoru s metrikou, aby bylo možné používat kontinuální optimalizační metody k nalezení řešení (tj. využít intuici a vyhnout se hledání hrubou silou).