Realizamos un ensayo controlado aleatorio para ver cuánto aceleran las herramientas de codificación de IA los desarrolladores de código abierto experimentados. Los resultados nos sorprendieron: los desarrolladores pensaban que eran un 20% más rápidos con las herramientas de IA, pero en realidad eran un 19% más lentos cuando tenían acceso a la IA que cuando no lo tenían.

Reclutamos a 16 desarrolladores de código abierto con experiencia para trabajar en 246 tareas reales en sus propios repositorios (promedio de 22k + estrellas, 1M + líneas de código). Asignamos aleatoriamente cada tarea para permitir la IA (normalmente Cursor Pro con Claude 3.5/3.7) o para no permitir la ayuda de la IA.

Al comienzo del estudio, los desarrolladores pronosticaron que se acelerarían en un 24%. Después de hacer el trabajo, estimaron que se habían acelerado en un 20%. Pero resultó que en realidad se ralentizaron en un 19%.

Cuando se permite la IA, los desarrolladores pasan menos tiempo codificando y buscando información activamente y, en cambio, pasan tiempo solicitando a la IA, esperando o revisando los resultados de la IA y sin actividad. No encontramos una sola razón para la desaceleración, sino que se debe a una combinación de factores.

¿Por qué realizamos este estudio? Los puntos de referencia de los agentes de IA tienen limitaciones: son autónomos, utilizan puntuaciones algorítmicas y carecen de interacción humana en directo. Esto puede dificultar la inferencia directa del impacto en el mundo real. Si queremos un sistema de alerta temprana para saber si la investigación y el desarrollo de la IA están siendo acelerados por la propia IA, o incluso automatizados, sería útil poder medirlo directamente en pruebas de ingenieros del mundo real, en lugar de depender de indicadores como puntos de referencia o información aún más ruidosa como anécdotas.

¿Qué nos llevamos? 1. Parece probable que, para algunos entornos importantes, las herramientas de IA recientes no hayan aumentado la productividad (y, de hecho, pueden disminuirla). 2. Los autoinformes de aceleración no son fiables: para comprender el impacto de la IA en la productividad, necesitamos experimentos en la naturaleza.