J'étais l'un des 16 développeurs dans cette étude. Je voulais exprimer mes opinions sur les causes et les stratégies d'atténuation du ralentissement des développeurs. Je dirai comme un accroche "pourquoi vous écouter ?" que j'ai connu un -38% d'accélération de l'IA sur mes problèmes assignés. Je pense que la transparence aide la communauté.

Tout d'abord, je pense que l'accélération par l'IA est très faiblement corrélée à la capacité de quiconque en tant que développeur. Tous les développeurs de cette étude sont très bons. Je pense que cela a plus à voir avec le fait de tomber dans des modes d'échec, tant dans la capacité des LLM que dans le flux de travail humain. Je travaille avec un tas de développeurs de préformation incroyables, et je pense que les gens rencontrent beaucoup des mêmes problèmes. Nous aimons dire que les LLM sont des outils, mais nous les traitons plutôt comme une solution miracle. Littéralement, n'importe quel développeur peut attester de la satisfaction que l'on ressent en déboguant enfin un problème épineux. Les LLM sont un grand bouton de raccourci de dopamine qui peut résoudre votre problème d'un coup. Continuez-vous à appuyer sur le bouton qui a 1 % de chances de tout réparer ? C'est beaucoup plus agréable que l'alternative éprouvante, du moins pour moi.

Je pense que des cas de surutilisation des LLM peuvent se produire parce qu'il est facile d'optimiser pour le plaisir perçu plutôt que pour le temps de solution pendant le travail. Moi appuyant sur tab dans le curseur pendant 5 heures au lieu de déboguer pendant 1 :

Troisièmement, il est très facile de se laisser distraire pendant le temps d'attente pendant que les LLM génèrent. L'économie de l'attention sur les réseaux sociaux est brutale, et je pense que les gens passent 30 minutes à faire défiler pendant qu'ils "attendent" leur génération de 30 secondes. Tout ce que je peux dire à ce sujet, c'est que nous devrions connaître nos propres pièges et essayer de remplir ce temps de génération LLM de manière productive : - Si la tâche nécessite une concentration élevée, passez ce temps à travailler sur une sous-tâche ou à réfléchir à des questions de suivi. Même si le modèle répond parfaitement à votre question, qu'est-ce que je ne comprends pas d'autre ? - Si la tâche nécessite une faible concentration, faites une autre petite tâche en attendant (répondre à un email/slack, lire ou éditer un autre paragraphe, etc). Comme toujours, de petites étapes d'hygiène numérique aident avec cela (bloqueurs de sites web, téléphone en mode ne pas déranger, etc). Désolé d'être un peu grincheux, mais ça fonctionne pour moi :)

Quelques déclarations finales : - METR est une organisation merveilleuse avec laquelle travailler, et ce sont de solides scientifiques. J'ai adoré participer à cette étude et lire leurs résultats. - Je ne suis pas un gourou des LLM essayant de prêcher. Considérez cela comme la publication d'une entrée de journal personnel, en espérant que d'autres puissent bénéficier de mon introspection.