Noi stessi siamo utenti entusiasti dell'IA nei nostri flussi di lavoro scientifici. Giorno dopo giorno, tutto sembra molto emozionante. Ma l'impatto dell'IA sulla scienza come istituzione, piuttosto che sugli scienziati individuali, è una questione diversa che richiede un'analisi differente. Scrivere questo saggio ha richiesto di combattere le nostre stesse intuizioni in molti casi. Se sei uno scienziato che è altrettanto entusiasta di utilizzare questi strumenti, ti esortiamo a tenere a mente questa differenza. L'IA potrebbe rallentare la scienza? Affrontare il paradosso della produzione e del progresso. La tragedia è che ci sono molti strumenti di IA per la scienza che farebbero una vera differenza, come l'IA per segnalare potenziali errori nel codice scientifico. Ma i laboratori sono fissati su altre cose come la revisione della letteratura / "ricerca approfondita". Questo non è un vero collo di bottiglia, quindi non importa quanto più veloce lo rendi. Nel frattempo, i rischi di cortocircuitare la comprensione umana sono enormi. Le valutazioni sono parte del problema. Ci sono tre tipi di domande che si possono porre su uno strumento di revisione della letteratura: Risparmia tempo a un ricercatore e produce risultati di qualità comparabile rispetto agli strumenti esistenti? Come influisce l'uso dello strumento sulla comprensione della letteratura da parte del ricercatore rispetto alla ricerca tradizionale? Quali saranno gli impatti collettivi sulla comunità se lo strumento venisse adottato su larga scala? Ad esempio, tutti finiranno per citare gli stessi pochi articoli? Attualmente, solo la prima domanda è considerata parte di ciò che significa valutazione. Le ultime due sono fuori portata, e non ci sono nemmeno metodi o metriche stabilite per tale misurazione. Ciò significa che la valutazione dell'IA per la scienza è garantita a fornire un quadro altamente incompleto e distorto dell'utilità di questi strumenti e a minimizzare i loro potenziali danni. In definitiva, tutto si riduce agli incentivi distorti dei laboratori di IA per la scienza, specialmente quelli delle grandi aziende di IA. Vogliono titoli accattivanti "L'IA scopre X!" in modo da poter sostenere la narrazione che l'IA risolverà i problemi dell'umanità, il che garantisce loro un trattamento politico favorevole. Non ci aspettiamo che questo cambi. Ma una consapevolezza che qualcosa non va seriamente con l'attuale traiettoria è un buon primo passo, e questo è l'obiettivo di questo saggio di @sayashk e me.