Esta es una gran charla de Chollet sobre el camino hacia la AGI y por qué solo escalar (y ni siquiera escalar + razonamiento CoT) nos llevará allí. Enlace al video a continuación. Él discute la abstracción, el razonamiento simbólico, la optimización continua vs discreta (búsqueda de programas) y muchos otros temas importantes. Nota que sigue usando el término "Inteligencia Fluida". $trillones y la dominación geoestratégica están en juego, así que los investigadores de IA tienen que ser realistas sobre lo que es "inteligencia". Terminan recreando los métodos de psicometría (ahora aplicados a las IA en lugar de a los humanos) que han sido en gran medida expulsados de la academia por la estupidez woke.

Los humanos realizan un pensamiento combinatorio discreto en el que los LLM actuales no son buenos. En particular, los humanos pueden combinar módulos discretos con propiedades abstraídas para construir imágenes mentales de programas complejos. Por supuesto, el cerebro humano puede estar utilizando algún tipo de heurística de "métrica de distancia" continua en segundo plano para hacer conjeturas / tener intuición sobre este proceso combinatorio discreto. Chollet sugiere que necesitamos construir la capacidad para que la IA incruste el problema combinatorio (con propiedades abstraídas para los módulos) en un espacio latente con una métrica para poder utilizar métodos de optimización continua para encontrar soluciones (es decir, explotando la intuición y evitando la búsqueda a fuerza bruta).