Ik was een van de 16 ontwikkelaars in deze studie. Ik wilde mijn mening geven over de oorzaken en mitigatiestrategieën voor de vertraging van ontwikkelaars. Ik zal als een "waarom zou ik naar jou luisteren?" haakje zeggen dat ik een -38% AI-versnelling heb ervaren op mijn toegewezen problemen. Ik denk dat transparantie de gemeenschap helpt.

Ten eerste denk ik dat de versnelling door AI zeer zwak gecorreleerd is aan iemands vaardigheden als ontwikkelaar. Alle ontwikkelaars in deze studie zijn erg goed. Ik denk dat het meer te maken heeft met het vallen in faalmodi, zowel in de mogelijkheden van de LLM als in de workflow van de mens. Ik werk met een hoop geweldige pretraining ontwikkelaars, en ik denk dat mensen met veel van dezelfde problemen worden geconfronteerd. We zeggen graag dat LLM's tools zijn, maar behandelen ze meer als een wondermiddel. Bijna elke ontwikkelaar kan getuigen van de voldoening die je krijgt van het eindelijk oplossen van een lastig probleem. LLM's zijn een grote dopamine-snelkoppeling die je probleem in één keer kan oplossen. Blijf je de knop indrukken die een kans van 1% heeft om alles op te lossen? Het is in ieder geval veel leuker dan het slopende alternatief, althans voor mij.

Ik denk dat gevallen van LLM-overgebruik kunnen optreden omdat het gemakkelijk is om te optimaliseren voor waargenomen plezier in plaats van tijd-tot-oplossing tijdens het werken. Ik druk 5 uur op de tab-toets in plaats van 1 uur te debuggen:

Ten derde, het is super gemakkelijk om afgeleid te worden in de downtime terwijl LLM's aan het genereren zijn. De aandachtseconomie op sociale media is wreed, en ik denk dat mensen 30 minuten scrollen terwijl ze "wachten" op hun 30-seconden generatie. Het enige wat ik hierover kan zeggen is dat we onze eigen valkuilen moeten kennen en proberen deze LLM-generatietijd productief in te vullen: - Als de taak hoge concentratie vereist, besteed deze tijd dan aan het werken aan een subtaak of nadenken over vervolgvragen. Zelfs als het model je vraag in één keer goed beantwoordt, wat begrijp ik nog niet? - Als de taak lage concentratie vereist, doe dan ondertussen een andere kleine taak (beantwoord een e-mail/slack, lees of bewerk een andere alinea, enzovoort). Zoals altijd helpen kleine digitale hygiënestappen hierbij (websiteblokkeringen, telefoon op niet storen, enzovoort). Sorry dat ik zo'n zeurpiet ben, maar het werkt voor mij :)

Enkele laatste opmerkingen: - METR is een geweldige organisatie om mee samen te werken, en ze zijn sterke wetenschappers. Ik heb zowel genoten van mijn deelname aan deze studie als van het lezen van hun resultaten. - Ik ben geen LLM-goeroe die probeert te prediken. Zie dit als een persoonlijke dagboekvermelding van mij, in de hoop dat anderen kunnen profiteren van mijn introspectie.