Jag var ganska skeptisk till att den här studien var värd att genomföra, eftersom jag trodde att vi *uppenbarligen* skulle se en betydande ökning.
METR
METR11 juli 01:23
Vi körde en randomiserad kontrollerad studie för att se hur mycket AI-kodningsverktyg snabbar upp erfarna utvecklare av öppen källkod. Resultaten överraskade oss: Utvecklare trodde att de var 20 % snabbare med AI-verktyg, men de var faktiskt 19 % långsammare när de hade tillgång till AI än när de inte hade det.
En vanlig fråga är hur mycket erfarenhet utvecklarna har av AI-verktyg – kanske är de bara särskilt dåliga på att använda AI? Även om de inte är AI-avancerade användare före studien, har nästan alla tiotals till hundratals timmars tidigare erfarenhet av att använda LLM:er.
Några andra intressanta fynd! Vi finner att utvecklare saktas ner mindre när det gäller uppgifter som de är mindre bekanta med. Detta är intuitivt – om du verkligen vet vad du gör kan AI vara mindre marginellt användbart.
174,91K