Esta é uma ótima palestra de Chollet sobre o caminho para a AGI e por que apenas escalar (e nem mesmo escalar + raciocínio CoT) nos levará até lá. Link do vídeo abaixo. Ele discute abstração, raciocínio simbólico, otimização contínua vs discreta (busca de programas) e muitos outros tópicos importantes. Note que ele continua a usar o termo "Inteligência Fluida". $trilhões e domínio geoestratégico estão em jogo, por isso os pesquisadores de IA têm que ser realistas sobre o que "inteligência" é. Eles acabam recriando os métodos da psicometria (agora aplicados a IAs em vez de humanos) que foram em grande parte expulsos da academia pela estupidez woke.

Os humanos fazem um pensamento combinatório discreto que os LLMs atuais não conseguem realizar bem. Em particular, os humanos podem combinar módulos discretos com propriedades abstraídas para construir imagens mentais de programas complexos. Claro que o cérebro humano pode estar usando algum tipo de heurística de "métrica de distância" contínua em segundo plano para fazer suposições / ter intuição sobre esse processo combinatório discreto. Chollet sugere que precisamos construir a capacidade para a IA embutir o problema combinatório (com propriedades abstraídas para os módulos) em um espaço latente com uma métrica, de modo a usar métodos de otimização contínua para encontrar soluções (ou seja, explorando a intuição e evitando a busca exaustiva).