Byl jsem jedním ze 16 vývojářů v této studii. Chtěl jsem mluvit o svých názorech na příčiny a strategie zmírnění zpomalení vývoje. Jako háček "proč vás poslouchat?" řeknu, že jsem zaznamenal -38% zrychlení AI v přidělených problémech. Myslím, že transparentnost pomáhá komunitě.

Za prvé si myslím, že zrychlení AI je velmi slabě korelováno se schopnostmi kohokoli jako vývojáře. Všichni vývojáři v této studii jsou velmi dobří. Myslím, že to má více co do činění s pádem do režimů selhání, a to jak ve schopnostech LLM, tak v pracovním postupu člověka. Pracuji s mnoha úžasnými vývojáři s předběžným školením a myslím, že lidé čelí mnoha stejným problémům. Rádi říkáme, že LLM jsou nástroje, ale zacházíme s nimi spíše jako s kouzelnou kulkou. Doslova každý vývojář může potvrdit uspokojení z toho, že konečně odladil ožehavý problém. LLM jsou velké dopaminové zkratkové tlačítko, které může jednorázově vyřešit váš problém. Pořád mačkáte tlačítko, které má 1% šanci, že se vše opraví? Je to mnohem příjemnější než vyčerpávající alternativa, alespoň pro mě.

Myslím, že případy nadměrného používání LLM se mohou vyskytnout, protože je snadné jej optimalizovat pro vnímané potěšení spíše než čas na řešení při práci. Já mačkám tab v kurzoru po dobu 5 hodin místo ladění po dobu 1:

Za třetí, je velmi snadné nechat se rozptylovat během výpadků, zatímco LLM generují. Ekonomika pozornosti na sociálních sítích je brutální a myslím, že lidé stráví 30 minut scrollováním, zatímco "čekají" na svou 30sekundovou generaci. Vše, co k tomu mohu říci, je, že bychom měli znát svá vlastní úskalí a pokusit se tento čas generování LLM vyplnit produktivně: - Pokud úkol vyžaduje vysoké soustředění, věnujte tento čas buď práci na dílčím úkolu, nebo přemýšlení o následných otázkách. I když modelka na vaši otázku odpoví, čemu ještě nerozumím? - Pokud úkol vyžaduje malé zaměření, udělejte mezitím další malý úkol (odpovězte na e-mail/slack, přečtěte si nebo upravte další odstavec atd.). Jako vždy s tím pomáhají malé kroky digitální hygieny (blokátory webových stránek, telefon na dnd atd.). Omlouvám se, že jsem gram, ale pro mě to funguje :)

Několik závěrečných prohlášení: - METR je úžasná organizace pro práci a jsou to silní vědci. Líbila se mi účast na této studii i čtení jejích výsledků. - Nejsem nějaký guru LLM, který se snaží kázat. Berte to jako zveřejnění osobního deníku a naději, že ostatní budou mít prospěch z mé introspekce.