Byl jsem dost skeptický, že tato studie stojí za to, protože jsem si myslel, že *samozřejmě* uvidíme výrazné zrychlení.
METR
METR11. 7. 01:23
Provedli jsme randomizovanou kontrolovanou studii, abychom zjistili, jak moc kódovací nástroje AI urychlují zkušené vývojáře open-source. Výsledky nás překvapily: Vývojáři si mysleli, že jsou s nástroji AI o 20 % rychlejší, ale ve skutečnosti byli o 19 % pomalejší, když k AI měli, než když ji neměli.
Jednou z častých otázek je, kolik zkušeností mají vývojáři s nástroji umělé inteligence – možná jsou jen v používání umělé inteligence obzvláště špatní? I když před studií nebyli pokročilými uživateli AI, téměř všichni mají desítky až stovky hodin předchozích zkušeností s používáním LLM.
Některá další zajímavá zjištění! Zjistili jsme, že vývojáři jsou méně zpomaleni u úkolů, se kterými jsou méně obeznámeni. To je intuitivní – pokud opravdu víte, co děláte, umělá inteligence může být méně okrajově užitečná.
174,89K