Ich war ziemlich skeptisch, dass diese Studie es wert war, durchgeführt zu werden, weil ich dachte, dass wir *offensichtlich* einen signifikanten Geschwindigkeitszuwachs sehen würden.
METR
METR11. Juli, 01:23
Wir haben eine randomisierte kontrollierte Studie durchgeführt, um zu sehen, wie sehr KI-Coding-Tools erfahrene Open-Source-Entwickler beschleunigen. Die Ergebnisse haben uns überrascht: Die Entwickler dachten, sie seien mit KI-Tools 20 % schneller, tatsächlich waren sie jedoch 19 % langsamer, wenn sie Zugang zu KI hatten, als wenn sie keinen hatten.
Eine häufige Frage ist, wie viel Erfahrung die Entwickler mit KI-Tools haben – vielleicht sind sie einfach besonders schlecht im Umgang mit KI? Obwohl sie vor der Studie keine KI-Power-User waren, haben fast alle bereits Dutzende bis Hunderte von Stunden Erfahrung im Umgang mit LLMs.
Einige andere interessante Erkenntnisse! Wir stellen fest, dass Entwickler bei Aufgaben, mit denen sie weniger vertraut sind, weniger gebremst werden. Das ist intuitiv – wenn man wirklich weiß, was man tut, kann KI weniger marginal hilfreich sein.
174,9K