Jeg var ganske skeptisk til at denne studien var verdt å kjøre, fordi jeg trodde at vi *åpenbart* ville se betydelig hastighet.
METR
METR11. juli, 01:23
Vi kjørte en randomisert kontrollert studie for å se hvor mye AI-kodeverktøy fremskynder erfarne åpen kildekode-utviklere. Resultatene overrasket oss: Utviklere trodde de var 20 % raskere med AI-verktøy, men de var faktisk 19 % tregere når de hadde tilgang til AI enn når de ikke hadde det.
Et vanlig spørsmål er hvor mye erfaring utviklerne har med AI-verktøy – kanskje de bare er spesielt dårlige til å bruke AI? Selv om de ikke er AI-superbrukere før studien, har nesten alle titalls til hundrevis av timer med tidligere erfaring med å bruke LLM-er.
Noen andre interessante funn! Vi opplever at utviklere er mindre tregere på oppgaver de er mindre kjent med. Dette er intuitivt – hvis du virkelig vet hva du gjør, kan AI være mindre marginalt nyttig.
174,91K