Jag var en av de 16 utvecklarna i den här studien. Jag ville tala om mina åsikter om orsakerna och begränsningsstrategierna för dev slowdown. Jag kan säga som en "varför lyssna på dig?" att jag upplevde en -38% AI-speedup på mina tilldelade problem. Jag tror att transparens hjälper samhället.

För det första tror jag att AI-uppsnabbning är mycket svagt korrelerad till någons förmåga som utvecklare. Alla utvecklare i den här studien är mycket bra. Jag tror att det har mer att göra med att falla in i misslyckandelägen, både i LLM:s förmåga och människans arbetsflöde. Jag arbetar med massor av fantastiska förträningsutvecklare, och jag tror att människor står inför många av samma problem. Vi gillar att säga att LLM:er är verktyg, men behandlar dem mer som en magisk kula. Bokstavligen alla utvecklare kan intyga tillfredsställelsen av att äntligen felsöka ett taggigt problem. LLM:er är en stor genvägsknapp för dopamin som kan lösa ditt problem. Fortsätter du att trycka på knappen som har 1% chans att fixa allt? Det är mycket roligare än det ansträngande alternativet, åtminstone för mig.

Jag tror att fall av LLM-överanvändning kan hända eftersom det är lätt att optimera för upplevd njutning snarare än tid till lösning medan du arbetar. Jag trycker på fliken i markören i 5 timmar istället för att felsöka i 1:

För det tredje är det superlätt att bli distraherad under driftstoppet medan LLM:er genererar. Uppmärksamhetsekonomin i sociala medier är brutal, och jag tror att människor spenderar 30 minuter på att scrolla medan de "väntar" på sin 30-sekundersgeneration. Allt jag kan säga om detta är att vi bör känna till våra egna fallgropar och försöka fylla denna LLM-generations tid produktivt: - Om uppgiften kräver mycket fokus, ägna denna tid åt att antingen arbeta med en deluppgift eller tänka på uppföljningsfrågor. Även om modellen skjuter din fråga, vad mer förstår jag inte? - Om uppgiften kräver lågt fokus, gör en annan liten uppgift under tiden (svara på e-post/slack, läs eller redigera ett annat stycke, etc.). Som alltid hjälper små digitala hygiensteg till med detta (webbplatsblockerare, telefon på dnd, etc.). Ledsen att vara en grampy, men det fungerar för mig :)

Några avslutande uttalanden: - METR är en underbar organisation att arbeta med, och de är starka forskare. Jag har älskat både att delta i den här studien och att läsa deras resultat. - Jag är inte någon LLM-guru som försöker predika. Tänk på detta som att jag publicerar en personlig dagboksanteckning och hoppas att andra kan dra nytta av min introspektion.