Det här är ett bra föredrag av Chollet om vägen till AGI och varför enbart skalning (och inte ens skalning + CoT-resonemang) kommer att ta oss dit. Videolänk nedan. Han diskuterar abstraktion, symboliskt resonemang, kontinuerlig kontra diskret optimering (programsökning) och många andra viktiga ämnen. Observera att han fortsätter att använda termen "Fluid Intelligence". $trillions och geostrategisk dominans står på spel, så AI-forskare måste vara realistiska när det gäller vad "intelligens" är. Det slutar med att de återskapar de psykometriska metoderna (som nu tillämpas på AI istället för människor) som till stor del har drivits ut ur akademin av woke-dumhet.

Människor gör diskret kombinatoriskt tänkande som nuvarande LLM:er inte är bra på. I synnerhet kan människor kombinera diskreta moduler med abstraherade egenskaper för att bygga mentala bilder av komplexa program. Självklart kan den mänskliga hjärnan använda någon form av kontinuerlig "avståndsmetrisk" heuristik i bakgrunden för att göra gissningar / ha intuition om denna diskreta kombinatoriska process. Chollet föreslår att vi måste bygga upp förmågan för AI att bädda in det kombinatoriska problemet (med abstraherade egenskaper för modulerna) i ett latent utrymme med ett mått för att använda kontinuerliga optimeringsmetoder för att hitta lösningar (dvs. utnyttja intuition och undvika brute force-sökning).