Esta é uma ótima palestra de Chollet sobre o caminho para a AGI e por que escalar sozinho (e nem mesmo escalar + raciocínio CoT) nos levará até lá. Link do vídeo abaixo. Ele discute abstração, raciocínio simbólico, otimização contínua versus discreta (pesquisa de programa) e muitos outros tópicos importantes. Observe que ele continua usando o termo "Inteligência Fluida". $trillions e domínio geoestratégico estão em jogo, então os pesquisadores de IA precisam ser realistas sobre o que é "inteligência". Eles acabam recriando os métodos de psicometria (agora aplicados a IAs em vez de humanos) que foram em grande parte expulsos da academia pela estupidez acordada.

Os humanos têm um pensamento combinatório discreto no qual os LLMs atuais não são bons. Em particular, os humanos podem combinar módulos discretos com propriedades abstratas para construir imagens mentais de programas complexos. Ofc, o cérebro humano pode estar usando algum tipo de heurística contínua de "métrica de distância" em segundo plano para fazer suposições / ter intuição sobre esse processo combinatório discreto. Chollet sugere que precisamos construir a capacidade da IA de incorporar o problema combinatório (com propriedades abstratas para os módulos) em um espaço latente com uma métrica para usar métodos de otimização contínua para encontrar soluções (ou seja, explorar a intuição e evitar a busca de força bruta).