Hôm nay tôi đã có một cuộc trò chuyện thú vị với @Shaughnessy119 về các yêu cầu và hạn chế năng lượng của AI cũng như những tác động tiềm năng đến thời gian cho AGI/ASI. Mắt tôi đã mở ra vào đầu tuần khi tôi gặp một người bạn xây dựng các trung tâm dữ liệu quy mô lớn và nói rằng việc cung cấp điện cho các công trình mới là từ 2028-2030 - đó là một khoảng thời gian dài kinh khủng trong thế giới AI. Vì vậy, điều này thực sự khiến bạn tự hỏi, làm thế nào chúng ta có thể tiếp tục tốc độ đổi mới AI hoặc thậm chí chỉ theo kịp Trung Quốc khi mà có những hạn chế về năng lượng? Tommy đã thực hiện một số nghiên cứu tốt và các con số thật đáng kinh ngạc: GPT-3 ước tính đã sử dụng 1,3 GWh năng lượng để huấn luyện. GPT-4 ước tính đã sử dụng 50-60 GWh để huấn luyện. Để huấn luyện một mô hình AGI, có thể mất hơn 600.000 GWh! Để đặt điều đó vào bối cảnh, đó khoảng 22% tổng sản lượng điện hàng năm của Hoa Kỳ. Tất nhiên, đây chỉ là những ước tính và không tính đến bất kỳ đổi mới lớn nào trong sản xuất năng lượng nhưng nó cung cấp cho chúng ta một cái nhìn thực tế lớn về 1) những gì có thể cần, và 2) những tác động đến thời gian để đạt được AGI khi bạn không thể chỉ cung cấp 600.000 GWh năng lượng mới bất cứ lúc nào sớm. Điều này dường như là một khía cạnh rất ít được đánh giá cao và ít được nói đến trong cuộc đua AI. Tôi sẽ tiếp tục đào sâu vào vấn đề này hơn, có lẽ xứng đáng với một báo cáo chi tiết hơn.

Nhân tiện, nếu bạn muốn xem chi tiết về những gì ChatGPT đã nói về chủ đề này, đây là thông tin:

Ngoài ra, điều này còn chưa tính đến nhu cầu gia tăng theo cấp số nhân cho việc suy diễn. Những khối lượng công việc đó có thể được phân phối qua các trung tâm dữ liệu nhỏ hơn, nơi yêu cầu về điện năng thấp hơn, nhưng vẫn là một sự kéo từ lưới điện. Cộng tất cả lại và có một nút thắt lớn đang hiện ra.