Fui uno de los 16 desarrolladores de este estudio. Quería hablar sobre mis opiniones sobre las causas y las estrategias de mitigación para la desaceleración de los desarrolladores. Diré como un gancho de "¿por qué escucharte?" que experimenté una aceleración de IA del -38% en mis problemas asignados. Creo que la transparencia ayuda a la comunidad.

En primer lugar, creo que la aceleración de la IA está muy débilmente correlacionada con la capacidad de cualquier persona como desarrollador. Todos los desarrolladores de este estudio son muy buenos. Creo que tiene más que ver con caer en modos de fallo, tanto en la capacidad del LLM como en el flujo de trabajo del ser humano. Trabajo con un montón de desarrolladores de preentrenamiento increíbles, y creo que la gente se enfrenta a muchos de los mismos problemas. Nos gusta decir que los LLM son herramientas, pero trátalos más como una bala mágica. Literalmente, cualquier desarrollador puede dar fe de la satisfacción de finalmente depurar un tema espinoso. Los LLM son un gran botón de acceso directo a la dopamina que puede solucionar tu problema de una sola vez. ¿Sigues presionando el botón que tiene un 1% de posibilidades de arreglarlo todo? Es mucho más agradable que la agotadora alternativa, al menos para mí.

Creo que los casos de uso excesivo de LLM pueden ocurrir porque es fácil optimizarlo para el disfrute percibido en lugar del tiempo para la solución mientras se trabaja. Yo presionando la tecla Tab en el cursor durante 5 horas en lugar de depurar durante 1:

En tercer lugar, es muy fácil distraerse en el tiempo de inactividad mientras se generan los LLM. La economía de la atención en las redes sociales es brutal, y creo que la gente pasa 30 minutos desplazándose mientras "espera" a su generación de 30 segundos. Todo lo que puedo decir sobre esto es que debemos conocer nuestras propias trampas y tratar de llenar este tiempo de generación de LLM de manera productiva: - Si la tarea requiere mucha concentración, dedica este tiempo a trabajar en una subtarea o a pensar en preguntas de seguimiento. Incluso si la modelo responde a tu pregunta, ¿qué más no entiendo? - Si la tarea requiere poca concentración, haz otra tarea pequeña mientras tanto (responde a un correo electrónico/slack, lee o edita otro párrafo, etc.). Como siempre, los pequeños pasos de higiene digital ayudan con esto (bloqueadores de sitios web, teléfono en dnd, etc.). Perdón por ser un abuelo, pero a mí me funciona :)

Algunas declaraciones finales: - METR es una organización maravillosa con la que trabajar, y son científicos fuertes. Me ha encantado tanto participar en este estudio como leer sus resultados. - No soy un gurú de LLM tratando de predicar. Piensa en esto como si yo publicara una entrada en mi diario personal y esperara que otros pudieran beneficiarse de mi introspección.