Nosotros mismos somos usuarios entusiastas de la IA en nuestros flujos de trabajo científicos. En el día a día, todo se siente muy emocionante. Pero el impacto de la IA en la ciencia como institución, en lugar de en los científicos individuales, es una cuestión diferente que exige un tipo diferente de análisis. Escribir este ensayo requirió luchar contra nuestras propias intuiciones en muchos casos. Si usted es un científico que está igualmente entusiasmado con el uso de estas herramientas, le instamos a que tenga en cuenta esta diferencia. ¿Podría la IA ralentizar la ciencia? Enfrentando la paradoja producción-progreso La tragedia es que hay muchas herramientas de IA para la ciencia que marcarían una diferencia real, como la IA para señalar posibles errores en el código científico. Pero los laboratorios están obsesionados con otras cosas como la revisión de la literatura / "investigación profunda". Esto no es un cuello de botella real, por lo que no importa cuánto más rápido lo hagas. Mientras tanto, los riesgos de cortocircuitar el entendimiento humano son enormes. Las evaluaciones son parte del problema. Hay tres tipos de preguntas que uno puede hacer acerca de una herramienta de revisión literaria: ¿Ahorra tiempo al investigador y produce resultados de calidad comparable a las herramientas existentes? ¿Cómo impacta el uso de la herramienta en la comprensión de la literatura por parte del investigador en comparación con la búsqueda tradicional? ¿Cuáles serán los impactos colectivos en la comunidad si la herramienta se adoptara ampliamente? Por ejemplo, ¿todos terminarán citando los mismos artículos? En la actualidad, solo la primera pregunta se considera parte de lo que significa la evaluación. Los dos últimos están fuera del alcance, y ni siquiera existen métodos o métricas establecidos para dicha medición. Esto significa que se garantiza que la evaluación de la IA para la ciencia proporcionará una imagen muy incompleta y sesgada de la utilidad de estas herramientas y minimizará sus posibles daños. En última instancia, todo se reduce a los incentivos desordenados de los laboratorios de IA para ciencias, especialmente los de las grandes empresas de IA. Quieren titulares llamativos de "¡La IA descubre X!" para poder sostener la narrativa de que la IA resolverá los problemas de la humanidad, lo que les otorga un trato político favorable. No estamos conteniendo la respiración para que esto cambie. Pero la conciencia de que algo está seriamente mal en la trayectoria actual es un buen primer paso, y ese es el objetivo de este ensayo de @sayashk y mío.