Ero piuttosto scettico sul fatto che questo studio valesse la pena di essere condotto, perché pensavo che *ovviamente* avremmo visto un significativo aumento della velocità.
METR
METR11 lug, 01:23
Abbiamo condotto uno studio controllato randomizzato per vedere quanto gli strumenti di codifica AI accelerino gli sviluppatori esperti di open-source. I risultati ci hanno sorpreso: gli sviluppatori pensavano di essere più veloci del 20% con gli strumenti AI, ma in realtà erano l'19% più lenti quando avevano accesso all'AI rispetto a quando non lo avevano.
Una domanda comune è quanta esperienza hanno gli sviluppatori con gli strumenti di intelligenza artificiale—magari sono semplicemente particolarmente scarsi nell'uso dell'IA? Sebbene non siano utenti esperti di IA prima dello studio, quasi tutti hanno decine o centinaia di ore di esperienza precedente nell'uso di LLM.
Altre scoperte interessanti! Scopriamo che gli sviluppatori sono meno rallentati nei compiti con cui hanno meno familiarità. Questo è intuitivo: se sai davvero cosa stai facendo, l'IA può essere meno marginalmente utile.
174,9K