Am fost destul de sceptic că merită să fac acest studiu, pentru că am crezut că *evident* vom vedea o accelerare semnificativă.
METR
METR11 iul., 01:23
Am efectuat un studiu controlat randomizat pentru a vedea cât de mult instrumentele de codare AI accelerează dezvoltatorii open-source cu experiență. Rezultatele ne-au surprins: dezvoltatorii au crezut că sunt cu 20% mai rapizi cu instrumentele AI, dar de fapt au fost cu 19% mai lenți atunci când au avut acces la AI decât atunci când nu au avut.
O întrebare frecventă este câtă experiență au dezvoltatorii cu instrumentele AI – poate că sunt deosebit de slabi la utilizarea AI? Deși nu sunt utilizatori AI înainte de studiu, aproape toți au zeci până la sute de ore de experiență anterioară în utilizarea LLM-urilor.
Alte descoperiri interesante! Constatăm că dezvoltatorii sunt mai puțin încetiniți în ceea ce privește sarcinile cu care sunt mai puțin familiarizați. Acest lucru este intuitiv – dacă știi cu adevărat ce faci, AI poate fi mai puțin utilă.
174,9K