Nous sommes nous-mêmes des utilisateurs enthousiastes de l'IA dans nos workflows scientifiques. Au quotidien, tout cela semble très excitant. Mais l'impact de l'IA sur la science en tant qu'institution, plutôt que sur les scientifiques individuels, est une question différente qui nécessite une analyse différente. Écrire cet essai a nécessité de lutter contre nos propres intuitions dans de nombreux cas. Si vous êtes un scientifique qui est également enthousiaste à l'idée d'utiliser ces outils, nous vous exhortons à garder cette différence à l'esprit. L'IA pourrait-elle ralentir la science ? Confrontation au paradoxe de la production et du progrès. La tragédie est qu'il existe de nombreux outils d'IA pour la science qui feraient une réelle différence, comme l'IA pour signaler les erreurs potentielles dans le code scientifique. Mais les laboratoires sont fixés sur d'autres choses comme la revue de littérature / "recherche approfondie". Ce n'est pas un véritable goulot d'étranglement, donc peu importe à quelle vitesse vous le rendez. Pendant ce temps, les risques de court-circuiter la compréhension humaine sont énormes. Les évaluations font partie du problème. Il y a trois types de questions que l'on peut poser sur un outil de revue de littérature : Est-ce qu'il fait gagner du temps à un chercheur et produit des résultats de qualité comparable à ceux des outils existants ? Comment l'utilisation de l'outil impacte-t-elle la compréhension de la littérature par le chercheur par rapport à une recherche traditionnelle ? Quels seront les impacts collectifs sur la communauté si l'outil était largement adopté ? Par exemple, tout le monde finira-t-il par citer les mêmes quelques articles ? Actuellement, seule la première question est considérée comme faisant partie de ce que signifie l'évaluation. Les deux dernières sont hors de portée, et il n'existe même pas de méthodes ou de métriques établies pour une telle mesure. Cela signifie que l'évaluation de l'IA pour la science est garantie de fournir une image très incomplète et biaisée de l'utilité de ces outils et de minimiser leurs dommages potentiels. En fin de compte, cela revient aux incitations détraquées des laboratoires d'IA pour la science, en particulier ceux des grandes entreprises d'IA. Ils veulent des titres accrocheurs "L'IA découvre X !" afin de maintenir le récit selon lequel l'IA résoudra les problèmes de l'humanité, ce qui leur procure un traitement politique favorable. Nous ne retenons pas notre souffle en attendant que cela change. Mais une prise de conscience qu'il y a quelque chose de sérieusement erroné dans la trajectoire actuelle est un bon premier pas, et c'est l'objectif de cet essai par @sayashk et moi.
6,36K