Dit is een geweldige lezing van Chollet over het pad naar AGI en waarom alleen schalen (en zelfs niet schalen + CoT-redenering) ons daar zal brengen. Videolink hieronder. Hij bespreekt abstractie, symbolisch redeneren, continue versus discrete optimalisatie (programmazoek), en vele andere belangrijke onderwerpen. Let op dat hij de term "Vloeibare Intelligentie" blijft gebruiken. $trillions en geostrategische dominantie staan op het spel, dus AI-onderzoekers moeten realistisch zijn over wat "intelligentie" is. Ze eindigen met het recreëren van de methoden van psychometrie (nu toegepast op AIs in plaats van mensen) die grotendeels uit de academische wereld zijn verdreven door woke domheid.

Mensen doen discrete combinatorische denkwijzen waar huidige LLM's niet goed in zijn. In het bijzonder kunnen mensen discrete modules combineren met geabstraheerde eigenschappen om mentale beelden van complexe programma's te bouwen. Natuurlijk kan de menselijke hersenen een soort continue "afstandsmatrix" heuristiek op de achtergrond gebruiken om gissingen te doen / intuïtie te hebben over dit discrete combinatorische proces. Chollet suggereert dat we de capaciteit moeten opbouwen voor de AI om het combinatorische probleem (met geabstraheerde eigenschappen voor de modules) in een latente ruimte met een metriek te embedden, zodat we continue optimalisatiemethoden kunnen gebruiken om oplossingen te vinden (d.w.z. intuïtie benutten en brute force zoekopdrachten vermijden).