Eu era um dos 16 desenvolvedores neste estudo. Eu queria falar sobre minhas opiniões sobre as causas e estratégias de mitigação para a lentidão do desenvolvedor. Eu direi como um gancho "por que ouvir você?" que experimentei uma aceleração de IA de -38% nos problemas que me foram atribuídos. Acho que a transparência ajuda a comunidade.

Em primeiro lugar, acho que a aceleração da IA está muito fracamente correlacionada com a habilidade de qualquer pessoa como desenvolvedor. Todos os desenvolvedores neste estudo são muito bons. Acho que tem mais a ver com cair em modos de falha, tanto na capacidade do LLM quanto no fluxo de trabalho humano. Eu trabalho com uma tonelada de desenvolvedores de pré-treinamento incríveis e acho que as pessoas enfrentam muitos dos mesmos problemas. Gostamos de dizer que os LLMs são ferramentas, mas os tratamos mais como uma bala mágica. Literalmente, qualquer desenvolvedor pode atestar a satisfação de finalmente depurar um problema espinhoso. Os LLMs são um grande botão de atalho de dopamina que pode resolver seu problema. Você continua apertando o botão que tem 1% de chance de consertar tudo? É muito mais agradável do que a alternativa cansativa, pelo menos para mim.

Acho que casos de uso excessivo de LLM podem acontecer porque é fácil otimizar para o prazer percebido, em vez de tempo para solução durante o trabalho. Eu pressionando tab no cursor por 5 horas em vez de depurar por 1:

Terceiro, é super fácil se distrair no tempo de inatividade enquanto os LLMs estão gerando. A economia da atenção da mídia social é brutal, e acho que as pessoas gastam 30 minutos rolando enquanto "esperam" por sua geração de 30 segundos. Tudo o que posso dizer sobre isso é que devemos conhecer nossas próprias armadilhas e tentar preencher esse tempo de geração LLM de forma produtiva: - Se a tarefa exigir alto foco, gaste esse tempo trabalhando em uma subtarefa ou pensando em perguntas de acompanhamento. Mesmo que o modelo dê um tiro na sua pergunta, o que mais eu não entendo? - Se a tarefa exigir pouco foco, faça outra pequena tarefa nesse meio tempo (responda a um e-mail / folga, leia ou edite outro parágrafo, etc). Como sempre, pequenas etapas de higiene digital ajudam nisso (bloqueadores de sites, telefone em dnd, etc). Desculpe ser um vovô, mas funciona para mim :)

Algumas declarações finais: - A METR é uma organização maravilhosa para se trabalhar e são cientistas fortes. Adorei participar deste estudo e ler seus resultados. - Eu não sou um guru LLM tentando pregar. Pense nisso como eu publicando uma entrada de diário pessoal e esperando que outras pessoas possam se beneficiar da minha introspecção.