Đây là một bài nói chuyện tuyệt vời của Chollet về con đường đến AGI và tại sao chỉ mở rộng (và thậm chí không phải mở rộng + lý luận CoT) sẽ đưa chúng ta đến đó. Liên kết video bên dưới. Ông thảo luận về trừu tượng, lý luận biểu tượng, tối ưu hóa liên tục so với rời rạc (tìm kiếm chương trình), và nhiều chủ đề quan trọng khác. Lưu ý rằng ông liên tục sử dụng thuật ngữ "Trí thông minh Linh hoạt". $trillions và sự thống trị địa chiến lược đang bị đe dọa, vì vậy các nhà nghiên cứu AI phải thực tế về những gì "trí thông minh" là. Họ cuối cùng tái tạo các phương pháp của tâm lý học (nay được áp dụng cho AI thay vì con người) mà phần lớn đã bị đẩy ra khỏi học viện bởi sự ngu ngốc của tư tưởng thức tỉnh.

Con người thực hiện tư duy tổ hợp rời rạc mà các LLM hiện tại không giỏi. Cụ thể, con người có thể kết hợp các mô-đun rời rạc với các thuộc tính trừu tượng để xây dựng hình ảnh tâm trí về các chương trình phức tạp. Tất nhiên, não bộ con người có thể đang sử dụng một loại "thước đo khoảng cách" liên tục nào đó trong nền để đưa ra dự đoán / có trực giác về quá trình tổ hợp rời rạc này. Chollet gợi ý rằng chúng ta cần xây dựng khả năng cho AI nhúng vấn đề tổ hợp (với các thuộc tính trừu tượng cho các mô-đun) vào một không gian tiềm ẩn với một thước đo để có thể sử dụng các phương pháp tối ưu hóa liên tục nhằm tìm ra giải pháp (tức là khai thác trực giác và tránh tìm kiếm bằng sức mạnh thô).