Zatím nemáme umělou inteligenci, která by se sama vylepšovala, a až se nám to podaří, změní to pravidla hry. S větší moudrostí ve srovnání s dny GPT-4 je zřejmé, že nepůjde o "rychlý start", ale spíše o extrémně postupný v průběhu mnoha let, pravděpodobně desetiletí. První věc, kterou je třeba vědět, je, že sebezdokonalování, tj. trénování modelů samých, není binární. Vezměme si scénář tréninku GPT-5 GPT-6, což by bylo neuvěřitelné. Přešel by GPT-5 najednou z neschopnosti trénovat GPT-6 na extrémně zdatný trénink? Rozhodně ne. První tréninkové běhy GPT-6 by byly pravděpodobně extrémně neefektivní z hlediska času a výpočtů ve srovnání s lidskými výzkumníky. A teprve po mnoha zkouškách by GPT-5 skutečně dokázal trénovat GPT-6 lépe než lidé. Za druhé, i kdyby se model dokázal sám trénovat, nezlepšil by se náhle ve všech oblastech. Existuje gradient obtížnosti v tom, jak těžké je zlepšit se v různých oblastech. Například sebezdokonalování možná zpočátku funguje pouze na doménách, které už víme, jak snadno opravit po tréninku, jako jsou základní halucinace nebo styl. Další by byla matematika a kódování, které vyžaduje více práce, ale zavedlo metody pro zlepšování modelů. A pak si v extrému můžete představit, že existují úkoly, které jsou velmi těžké pro sebezdokonalování. Například schopnost mluvit tlingitštinou, indiánským jazykem, kterým mluví ~500 lidí. Pro model bude velmi těžké se v mluvení tlingitštinou zdokonalit, protože zatím nemáme způsoby, jak řešit jazyky s nízkými zdroji, jako je tento, kromě sběru více dat, což by zabralo čas. Takže kvůli gradientu obtížnosti sebezdokonalování se to nestane všechno najednou. A konečně, možná je to kontroverzní, ale v konečném důsledku je pokrok ve vědě brzděn experimenty v reálném světě. Někteří se mohou domnívat, že přečtení všech prací z biologie nám řekne lék na rakovinu, nebo že přečtení všech prací ML a zvládnutí veškeré matematiky vám umožní dokonale trénovat GPT-10. Pokud by tomu tak bylo, pak by lidé, kteří přečetli nejvíce článků a studovali nejvíce teorie, byli nejlepšími výzkumníky v oblasti umělé inteligence. Ve skutečnosti se však stalo to, že umělou inteligenci (a mnoho dalších oborů) ovládli nemilosrdní empirickí výzkumníci, což odráží, jak velký pokrok je založen na experimentech v reálném světě, nikoli na hrubé inteligenci. Takže můj názor je, že i když super chytrý agent může navrhnout 2x nebo dokonce 5x lepší experimenty než naši nejlepší lidští výzkumníci, na konci dne musí stále čekat na spuštění experimentů, což by bylo zrychlení, ale ne rychlý start. Stručně řečeno, existuje mnoho překážek pokroku, nejen hrubá inteligence nebo systém sebezdokonalování. Umělá inteligence vyřeší mnoho domén, ale každá doména má své vlastní tempo pokroku. A dokonce i ta nejvyšší inteligence bude stále vyžadovat experimenty v reálném světě. Takže to bude zrychlení a ne rychlý vzlet, děkuji vám za přečtení mého tirády