Nosotros mismos somos usuarios entusiastas de la IA en nuestros flujos de trabajo científicos. En el día a día, todo se siente muy emocionante. Pero el impacto de la IA en la ciencia como institución, en lugar de en los científicos individuales, es una pregunta diferente que exige un tipo diferente de análisis. Escribir este ensayo requirió luchar contra nuestras propias intuiciones en muchos casos. Si eres un científico que está igualmente emocionado por usar estas herramientas, te instamos a tener en cuenta esta diferencia. ¿Podría la IA ralentizar la ciencia? Enfrentando la paradoja de producción-progreso La tragedia es que hay muchas herramientas de IA para la ciencia que harían una verdadera diferencia, como la IA para señalar posibles errores en el código científico. Pero los laboratorios están fijados en otras cosas como la revisión de literatura / "investigación profunda". Esto no es un verdadero cuello de botella, por lo que no importa cuán rápido lo hagas. Mientras tanto, los riesgos de acortar la comprensión humana son enormes. Las evaluaciones son parte del problema. Hay tres tipos de preguntas que se pueden hacer sobre una herramienta de revisión de literatura: ¿Ahorra tiempo a un investigador y produce resultados de calidad comparable a las herramientas existentes? ¿Cómo impacta el uso de la herramienta en la comprensión del investigador sobre la literatura en comparación con la búsqueda tradicional? ¿Cuáles serán los impactos colectivos en la comunidad si la herramienta se adoptara ampliamente? Por ejemplo, ¿terminará todo el mundo citando los mismos pocos artículos? Actualmente, solo la primera pregunta se considera parte de lo que significa la evaluación. Las dos últimas están fuera de alcance, y ni siquiera hay métodos o métricas establecidos para tal medición. Eso significa que la evaluación de la IA para la ciencia está garantizada para proporcionar una imagen altamente incompleta y sesgada de la utilidad de estas herramientas y minimizar sus posibles daños. En última instancia, se reduce a los incentivos desordenados de los laboratorios de IA para la ciencia, especialmente los de las grandes empresas de IA. Quieren titulares llamativos de “¡IA descubre X!” para poder sostener la narrativa de que la IA resolverá los problemas de la humanidad, lo que les compra un tratamiento favorable en las políticas. No estamos conteniendo la respiración para que esto cambie. Pero tener conciencia de que algo está seriamente mal con la trayectoria actual es un buen primer paso, y ese es el objetivo de este ensayo de @sayashk y mío.