Nous avons réalisé un essai contrôlé randomisé pour voir dans quelle mesure les outils de codage AI accélèrent le travail des développeurs open-source expérimentés. Les résultats nous ont surpris : les développeurs pensaient qu'ils étaient 20 % plus rapides avec les outils AI, mais en réalité, ils étaient 19 % plus lents lorsqu'ils avaient accès à l'AI que lorsqu'ils n'en avaient pas.

Nous avons recruté 16 développeurs open-source expérimentés pour travailler sur 246 tâches réelles dans leurs propres dépôts (en moyenne 22k+ étoiles, 1M+ lignes de code). Nous avons attribué aléatoirement chaque tâche pour permettre l'IA (généralement Cursor Pro avec Claude 3.5/3.7) ou interdire l'aide de l'IA.

Au début de l'étude, les développeurs avaient prévu qu'ils seraient accélérés de 24 %. Après avoir réellement effectué le travail, ils ont estimé qu'ils avaient été accélérés de 20 %. Mais il s'est avéré qu'ils avaient en fait été ralentis de 19 %.

Lorsque l'IA est autorisée, les développeurs passent moins de temps à coder activement et à rechercher des informations, et passent plutôt du temps à interroger l'IA, à attendre/revoir les résultats de l'IA, et à ne rien faire. Nous ne trouvons aucune raison unique pour ce ralentissement : il est causé par une combinaison de facteurs.

Pourquoi avons-nous réalisé cette étude ? Les benchmarks des agents IA ont des limitations : ils sont autonomes, utilisent un scoring algorithmique et manquent d'interaction humaine en direct. Cela peut rendre difficile l'inférence directe de l'impact dans le monde réel. Si nous voulons un système d'alerte précoce pour savoir si la R&D en IA est accélérée par l'IA elle-même, ou même automatisée, il serait utile de pouvoir mesurer cela directement dans des essais d'ingénierie réels, plutôt que de se fier à des indicateurs comme les benchmarks ou même à des informations plus bruyantes comme des anecdotes.

Que devons-nous retenir ? 1. Il semble probable que pour certains paramètres importants, les outils d'IA récents n'ont pas augmenté la productivité (et peuvent en fait la diminuer). 2. Les auto-évaluations de l'accélération ne sont pas fiables—pour comprendre l'impact de l'IA sur la productivité, nous avons besoin d'expériences sur le terrain.