To wspaniała rozmowa Cholleta na temat drogi do AGI i dlaczego samo skalowanie (a nawet skalowanie + rozumowanie CoT) nie doprowadzi nas tam. Link do wideo poniżej. Omówi abstrakcję, rozumowanie symboliczne, optymalizację ciągłą vs dyskretną (wyszukiwanie programów) oraz wiele innych ważnych tematów. Zauważ, że ciągle używa terminu "Inteligencja Płynna". $biliony i dominacja geostrategiczna są na szali, więc badacze AI muszą być realistyczni w kwestii tego, czym jest "inteligencja". Ostatecznie odtwarzają metody psychometrii (teraz stosowane do AI zamiast ludzi), które w dużej mierze zostały wypchnięte z akademii przez głupotę woke.

Ludzie myślą w sposób dyskretny i kombinatoryczny, w czym obecne LLM nie są dobre. W szczególności ludzie potrafią łączyć dyskretne moduły z abstrakcyjnymi właściwościami, aby budować mentalne obrazy złożonych programów. Oczywiście ludzki mózg może używać jakiegoś rodzaju ciągłej heurystyki "metryki odległości" w tle, aby zgadywać / mieć intuicję na temat tego dyskretnego procesu kombinatorycznego. Chollet sugeruje, że musimy zbudować zdolność dla AI do osadzania problemu kombinatorycznego (z abstrakcyjnymi właściwościami dla modułów) w przestrzeni latentnej z metryką, aby móc stosować metody optymalizacji ciągłej do znajdowania rozwiązań (tj. wykorzystywanie intuicji i unikanie przeszukiwania siłowego).