Це чудова доповідь Чолле про шлях до AGI і про те, чому саме масштабування (і навіть не масштабування + міркування CoT) приведе нас туди. Посилання на відео нижче. Він обговорює абстракцію, символічне міркування, безперервну та дискретну оптимізацію (пошук програм) та багато інших важливих тем. Зауважимо, що він продовжує використовувати термін «плинний інтелект». $trillions та геостратегічне домінування стоять на кону, тому дослідники штучного інтелекту повинні реалістично оцінювати, що таке «інтелект». У підсумку вони відтворюють методи психометрії (які тепер застосовуються до штучного інтелекту, а не до людей), які значною мірою були витіснені з академії через пробуджену дурість.
Люди мають дискретне комбінаторне мислення, з яким нинішні LLM не вміють. Зокрема, люди можуть поєднувати дискретні модулі з абстрагованими властивостями для побудови ментальних образів складних програм. Звичайно, людський мозок може використовувати якусь безперервну евристику «метрики відстані» на задньому плані, щоб робити припущення / мати інтуїцію щодо цього дискретного комбінаторного процесу. Чолле припускає, що нам потрібно створити здатність для ШІ вбудовувати комбінаторну задачу (з абстрактними властивостями для модулів) у латентний простір з метрикою, щоб використовувати безперервні методи оптимізації для пошуку рішень (тобто використовуючи інтуїцію та уникаючи пошуку грубої сили).
22,82K