Abbiamo condotto uno studio controllato randomizzato per vedere quanto gli strumenti di codifica AI accelerino gli sviluppatori esperti di open-source. I risultati ci hanno sorpreso: gli sviluppatori pensavano di essere più veloci del 20% con gli strumenti AI, ma in realtà erano l'19% più lenti quando avevano accesso all'AI rispetto a quando non lo avevano.

Abbiamo reclutato 16 sviluppatori open-source esperti per lavorare su 246 compiti reali nei loro repository (in media 22k+ stelle, 1M+ righe di codice). Abbiamo assegnato casualmente ciascun compito per consentire l'uso dell'IA (tipicamente Cursor Pro con Claude 3.5/3.7) o per non consentire aiuto dall'IA.

All'inizio dello studio, gli sviluppatori prevedevano di essere accelerati del 24%. Dopo aver effettivamente svolto il lavoro, hanno stimato di essere stati accelerati del 20%. Ma si è scoperto che in realtà erano stati rallentati del 19%.

Quando l'IA è consentita, gli sviluppatori trascorrono meno tempo a codificare attivamente e a cercare informazioni, e invece passano tempo a sollecitare l'IA, aspettando di rivedere i risultati dell'IA e in inattività. Non troviamo una singola ragione per il rallentamento: è guidato da una combinazione di fattori.

Perché abbiamo condotto questo studio? I benchmark degli agenti AI hanno delle limitazioni: sono autonomi, utilizzano punteggi algoritmici e mancano di interazione umana dal vivo. Questo può rendere difficile inferire direttamente l'impatto nel mondo reale. Se vogliamo un sistema di allerta precoce per capire se la R&D dell'AI sta accelerando grazie all'AI stessa, o addirittura automatizzata, sarebbe utile poter misurare direttamente questo in prove ingegneristiche nel mondo reale, piuttosto che fare affidamento su proxy come i benchmark o su informazioni ancora più rumorose come le aneddoti.

Cosa possiamo trarre? 1. Sembra probabile che per alcune impostazioni importanti, gli strumenti AI recenti non abbiano aumentato la produttività (e potrebbero in effetti diminuirla). 2. Le auto-segnalazioni di accelerazione non sono affidabili: per comprendere l'impatto dell'AI sulla produttività, abbiamo bisogno di esperimenti sul campo.