Era bastante escéptico de que valiera la pena realizar este estudio, porque pensé que *obviamente* veríamos una aceleración significativa.
METR
METR11 jul, 01:23
Realizamos un ensayo controlado aleatorio para ver cuánto aceleran las herramientas de codificación de IA los desarrolladores de código abierto experimentados. Los resultados nos sorprendieron: los desarrolladores pensaban que eran un 20% más rápidos con las herramientas de IA, pero en realidad eran un 19% más lentos cuando tenían acceso a la IA que cuando no lo tenían.
Una pregunta común es cuánta experiencia tienen los desarrolladores con las herramientas de IA, ¿tal vez son particularmente malos en el uso de la IA? Si bien no eran usuarios avanzados de IA antes del estudio, casi todos tienen decenas o cientos de horas de experiencia previa usando LLM.
¡Algunos otros hallazgos interesantes! Descubrimos que los desarrolladores se ralentizan menos en las tareas con las que están menos familiarizados. Esto es intuitivo: si realmente sabes lo que estás haciendo, la IA puede ser menos útil.
174.9K