Eu estava bastante cético de que este estudo valesse a pena, porque pensei que *obviamente* veríamos um aumento significativo de velocidade.
METR
METR11/07, 01:23
Realizámos um ensaio clínico randomizado controlado para ver quanto tempo os ferramentas de codificação de IA aceleram os desenvolvedores experientes de código aberto. Os resultados surpreenderam-nos: os desenvolvedores pensavam que eram 20% mais rápidos com as ferramentas de IA, mas na verdade eram 19% mais lentos quando tinham acesso à IA do que quando não tinham.
Uma pergunta comum é quanta experiência os desenvolvedores têm com ferramentas de IA—talvez eles sejam apenas particularmente ruins a usar IA? Embora não sejam utilizadores avançados de IA antes do estudo, quase todos têm dezenas a centenas de horas de experiência prévia a usar LLMs.
Algumas outras descobertas interessantes! Descobrimos que os desenvolvedores são menos retardados em tarefas com as quais estão menos familiarizados. Isso é intuitivo—se você realmente sabe o que está fazendo, a IA pode ser menos marginalmente útil.
174,9K