Nós próprios somos utilizadores entusiásticos de IA nos nossos fluxos de trabalho científicos. No dia a dia, tudo parece muito emocionante. Mas o impacto da IA na ciência como instituição, em vez de cientistas individuais, é uma questão diferente que exige um tipo diferente de análise. Escrever este ensaio exigiu lutar contra as nossas próprias intuições em muitos casos. Se você é um cientista que está igualmente entusiasmado em usar estas ferramentas, instamos você a ter esta diferença em mente. A IA pode atrasar a ciência? Enfrentando o paradoxo da produção-progresso A tragédia é que existem muitas ferramentas de IA para a ciência que fariam uma diferença real, como a IA para sinalizar potenciais erros em código científico. Mas os laboratórios estão fixados em outras coisas, como revisão de literatura / "pesquisa profunda". Este não é um verdadeiro gargalo, portanto, não importa quão mais rápido você o torne. Enquanto isso, os riscos de prejudicar a compreensão humana são enormes. As avaliações são parte do problema. Existem três tipos de perguntas que se pode fazer sobre uma ferramenta de revisão de literatura: Ela economiza tempo ao pesquisador e produz resultados de qualidade comparável às ferramentas existentes? Como o uso da ferramenta impacta a compreensão do pesquisador sobre a literatura em comparação com a busca tradicional? Quais serão os impactos coletivos na comunidade se a ferramenta for amplamente adotada? Por exemplo, todos acabarão citando os mesmos poucos artigos? Atualmente, apenas a primeira pergunta é considerada parte do que significa avaliação. As duas últimas estão fora do escopo, e não existem métodos ou métricas estabelecidas para tal medição. Isso significa que a avaliação de IA para a ciência garante fornecer uma imagem altamente incompleta e tendenciosa da utilidade dessas ferramentas e minimizar seus potenciais danos. Em última análise, tudo se resume aos incentivos distorcidos dos laboratórios de IA para a ciência, especialmente aqueles em grandes empresas de IA. Eles querem manchetes chamativas "IA descobre X!" para que possam sustentar a narrativa de que a IA resolverá os problemas da humanidade, o que lhes garante um tratamento político favorável. Não estamos segurando a respiração para que isso mude. Mas uma consciência de que algo está seriamente errado com a trajetória atual é um bom primeiro passo, e esse é o objetivo deste ensaio de @sayashk e eu.