Dette er et flott foredrag av Chollet om veien til AGI og hvorfor skalering alene (og ikke engang skalering + CoT-resonnement) vil få oss dit. Videolenke nedenfor. Han diskuterer abstraksjon, symbolsk resonnement, kontinuerlig vs diskret optimalisering (programsøk) og mange andre viktige temaer. Legg merke til at han fortsetter å bruke begrepet "flytende intelligens". $trillions og geostrategisk dominans står på spill, så AI-forskere må være realistiske om hva «intelligens» er. De ender opp med å gjenskape metodene til psykometri (nå brukt på AI-er i stedet for mennesker) som i stor grad har blitt drevet ut av akademia av woke-dumhet.

Mennesker gjør diskret kombinatorisk tenkning som nåværende LLM-er ikke er gode på. Spesielt kan mennesker kombinere diskrete moduler med abstraherte egenskaper for å bygge mentale bilder av komplekse programmer. Selvfølgelig kan den menneskelige hjernen bruke en slags kontinuerlig "avstandsmetrisk" heuristikk i bakgrunnen for å gjette / ha intuisjon om denne diskrete kombinatoriske prosessen. Chollet foreslår at vi må bygge evnen for AI til å bygge inn det kombinatoriske problemet (med abstraherte egenskaper for modulene) i et latent rom med en metrikk for å bruke kontinuerlige optimaliseringsmetoder for å finne løsninger (dvs. utnytte intuisjon og unngå brute force-søk).