Nós mesmos somos usuários entusiastas da IA em nossos fluxos de trabalho científicos. No dia-a-dia, tudo parece muito emocionante. Mas o impacto da IA na ciência como instituição, e não em cientistas individuais, é uma questão diferente que exige um tipo diferente de análise. Escrever este ensaio exigiu lutar contra nossas próprias intuições em muitos casos. Se você é um cientista que está igualmente entusiasmado com o uso dessas ferramentas, recomendamos que mantenha essa diferença em mente. A IA poderia retardar a ciência? Confrontando o paradoxo produção-progresso A tragédia é que existem muitas ferramentas de IA para ciência que fariam uma diferença real, como a IA para sinalizar possíveis erros no código científico. Mas os laboratórios estão fixados em outras coisas, como revisão de literatura / "pesquisa profunda". Este não é um gargalo real, então não importa o quão rápido você o faça. Enquanto isso, os riscos de curto-circuito na compreensão humana são enormes. As avaliações são parte do problema. Existem três tipos de perguntas que podem ser feitas sobre uma ferramenta de revisão literária: Ela economiza tempo do pesquisador e produz resultados de qualidade comparável às ferramentas existentes? Como o uso da ferramenta impacta a compreensão do pesquisador sobre a literatura em comparação com a busca tradicional? Quais serão os impactos coletivos na comunidade se a ferramenta for amplamente adotada? Por exemplo, todos acabarão citando os mesmos poucos artigos? Atualmente, apenas a primeira pergunta é considerada parte do que significa avaliação. Os dois últimos estão fora do escopo e nem mesmo existem métodos ou métricas estabelecidos para tal medição. Isso significa que a avaliação de IA para a ciência garante uma imagem altamente incompleta e tendenciosa da utilidade dessas ferramentas e minimiza seus danos potenciais. Em última análise, tudo se resume aos incentivos confusos dos laboratórios de IA para ciência, especialmente os de grandes empresas de IA. Eles querem manchetes chamativas "IA descobre X!" para que possam sustentar a narrativa de que a IA resolverá os problemas da humanidade, o que lhes dá um tratamento político favorável. Não estamos prendendo a respiração para que isso mude. Mas a consciência de que algo está seriamente errado com a trajetória atual é um bom primeiro passo, e esse é o objetivo deste ensaio de @sayashk e eu.