Hatte heute ein interessantes Gespräch mit @Shaughnessy119 über die Energieanforderungen und -beschränkungen von KI und die potenziellen Auswirkungen auf den Zeitrahmen für AGI/ASI. Mir wurde Anfang der Woche die Augen geöffnet, als ich mich mit einem Freund traf, der große Rechenzentren baut und sagte, dass die Energieversorgung für neue Bauten zwischen 2028 und 2030 liegt - das ist eine verrückt lange Zeit in der Welt der KI. Das lässt einen wirklich fragen, wie zur Hölle wir das Tempo der KI-Innovation aufrechterhalten oder überhaupt mit China Schritt halten können, angesichts der Energiebeschränkungen? Tommy hat einige gute Recherchen gemacht und die Zahlen sind verblüffend: GPT-3 benötigte schätzungsweise 1,3 GWh Energie zum Trainieren. GPT-4 benötigte schätzungsweise 50-60 GWh zum Trainieren. Um ein AGI-Modell zu trainieren, könnten es über 600.000 GWh benötigen! Um das ins rechte Licht zu rücken: Das sind etwa 22 % der gesamten jährlichen Stromerzeugung der USA. Natürlich sind das nur Schätzungen und berücksichtigen keine größeren Innovationen in der Energieproduktion, aber es bietet uns einen großen Realitätscheck zu 1) was es kosten könnte und 2) den Auswirkungen auf die Zeitrahmen, um AGI zu erreichen, da man nicht einfach 600.000 GWh neuer Energie jederzeit bereitstellen kann. Das scheint eine sehr unterbewertete und wenig besprochene Dimension im KI-Rennen zu sein. Ich werde weiterhin tiefer in dieses Thema eintauchen, es ist wahrscheinlich einen ausführlicheren Bericht wert.

Übrigens, wenn du die Details sehen möchtest, was ChatGPT zu diesem Thema gesagt hat, hier ist es:

Außerdem berücksichtigt dies nicht einmal die exponentielle Nachfrage nach Inferenz Diese Arbeitslasten können auf kleinere Rechenzentren verteilt werden, wo die Stromanforderungen geringer sind, aber es ist immer noch eine Belastung für das Netz Addiert man alles, gibt es einen riesigen Engpass, der bevorsteht