Eu estava bastante cético de que valia a pena realizar este estudo, porque pensei que * obviamente * veríamos uma aceleração significativa.
METR
METR11 de jul., 01:23
Realizamos um estudo controlado randomizado para ver o quanto as ferramentas de codificação de IA aceleram os desenvolvedores de código aberto experientes. Os resultados nos surpreenderam: os desenvolvedores pensaram que eram 20% mais rápidos com ferramentas de IA, mas na verdade eram 19% mais lentos quando tinham acesso à IA do que quando não tinham.
Uma pergunta comum é quanta experiência os desenvolvedores têm com ferramentas de IA – talvez eles sejam particularmente ruins no uso de IA? Embora não sejam usuários avançados de IA antes do estudo, quase todos têm dezenas a centenas de horas de experiência anterior usando LLMs.
Algumas outras descobertas interessantes! Descobrimos que os desenvolvedores ficam menos lentos em tarefas com as quais estão menos familiarizados. Isso é intuitivo – se você realmente sabe o que está fazendo, a IA pode ser menos útil.
174,91K