Это отличная беседа Шолле о пути к AGI и о том, почему только масштабирование (и даже масштабирование + рассуждения CoT) не приведет нас к этому. Ссылка на видео ниже. Он обсуждает абстракцию, символическое рассуждение, непрерывную и дискретную оптимизацию (поиск программ) и многие другие важные темы. Обратите внимание, что он постоянно использует термин "Жидкий интеллект". $триллионы и геостратегическое доминирование на кону, поэтому исследователи ИИ должны быть реалистичными в отношении того, что такое "интеллект". В итоге они воссоздают методы психометрики (теперь применяемые к ИИ вместо людей), которые в значительной степени были вытеснены из академии из-за «пробуждающей глупости».

Люди занимаются дискретным комбинаторным мышлением, в чем современные LLM не очень хороши. В частности, люди могут комбинировать дискретные модули с абстрактными свойствами, чтобы создавать мысленные образы сложных программ. Конечно, человеческий мозг может использовать некий непрерывный "метрический" эвристический подход в фоновом режиме, чтобы делать предположения / иметь интуицию относительно этого дискретного комбинаторного процесса. Шолле предлагает, что нам нужно развить способность ИИ встраивать комбинаторную задачу (с абстрактными свойствами для модулей) в латентное пространство с метрикой, чтобы использовать методы непрерывной оптимизации для поиска решений (т.е. использовать интуицию и избегать грубой силы поиска).