Byłem dość sceptyczny, czy to badanie ma sens, ponieważ myślałem, że *oczywiście* zobaczymy znaczące przyspieszenie.
METR
METR11 lip, 01:23
Przeprowadziliśmy randomizowane badanie kontrolne, aby sprawdzić, jak bardzo narzędzia do kodowania AI przyspieszają pracę doświadczonych programistów open-source. Wyniki nas zaskoczyły: Programiści myśleli, że są o 20% szybszy z narzędziami AI, ale w rzeczywistości byli o 19% wolniejsi, gdy mieli dostęp do AI, niż gdy go nie mieli.
Jednym z powszechnych pytań jest to, ile doświadczenia mają deweloperzy z narzędziami AI—może po prostu są szczególnie źli w korzystaniu z AI? Chociaż przed badaniem nie byli zaawansowanymi użytkownikami AI, niemal wszyscy mają dziesiątki do setek godzin wcześniejszego doświadczenia w korzystaniu z LLM.
Kilka innych interesujących odkryć! Stwierdzamy, że programiści są mniej spowolnieni w zadaniach, z którymi są mniej zaznajomieni. To jest intuicyjne—jeśli naprawdę wiesz, co robisz, AI może być mniej marginalnie pomocne.
174,91K