Estaba bastante escéptico de que este estudio valiera la pena, porque pensé que *obviamente* veríamos una aceleración significativa.
METR
METR11 jul, 01:23
Realizamos un ensayo controlado aleatorizado para ver cuánto aceleran las herramientas de codificación de IA a los desarrolladores experimentados de código abierto. Los resultados nos sorprendieron: los desarrolladores pensaban que eran un 20% más rápidos con las herramientas de IA, pero en realidad eran un 19% más lentos cuando tenían acceso a la IA que cuando no lo tenían.
Una pregunta común es cuánta experiencia tienen los desarrolladores con las herramientas de IA—¿quizás simplemente son particularmente malos usando IA? Aunque no son usuarios avanzados de IA antes del estudio, casi todos tienen decenas a cientos de horas de experiencia previa usando LLMs.
¡Algunos otros hallazgos interesantes! Descubrimos que los desarrolladores se ven menos ralentizados en tareas con las que están menos familiarizados. Esto es intuitivo: si realmente sabes lo que estás haciendo, la IA puede ser menos útil de manera marginal.
174,91K