Wij zijn zelf enthousiaste gebruikers van AI in onze wetenschappelijke workflows. Op dagelijkse basis voelt het allemaal erg spannend. Maar de impact van AI op wetenschap als instelling, in plaats van op individuele wetenschappers, is een andere vraag die een ander soort analyse vereist. Het schrijven van dit essay vereiste in veel gevallen dat we onze eigen intuïties moesten bestrijden. Als je een wetenschapper bent die net zo enthousiast is over het gebruik van deze tools, moedigen we je aan om dit verschil in gedachten te houden. Kan AI de wetenschap vertragen? Het confronteren van de productie-voortgang paradox De tragedie is dat er veel AI-voor-wetenschap tools zijn die een echt verschil zouden maken, zoals AI voor het signaleren van potentiële fouten in wetenschappelijke code. Maar de laboratoria zijn gefixeerd op andere dingen zoals literatuuronderzoek / "diepgaand onderzoek". Dit is geen echte bottleneck, dus het maakt niet uit hoe veel sneller je het maakt. Ondertussen zijn de risico's van het kortsluiten van menselijk begrip enorm. Evaluaties zijn een deel van het probleem. Er zijn drie soorten vragen die je kunt stellen over een literatuurreview-tool: Bespaart het een onderzoeker tijd en produceert het resultaten van vergelijkbare kwaliteit als bestaande tools? Hoe beïnvloedt het gebruik van de tool het begrip van de literatuur door de onderzoeker in vergelijking met traditionele zoekmethoden? Wat zullen de collectieve gevolgen voor de gemeenschap zijn als de tool op grote schaal wordt aangenomen? Bijvoorbeeld, zal iedereen eindigen met het citeren van dezelfde paar artikelen? Momenteel wordt alleen de eerste vraag beschouwd als onderdeel van wat evaluatie betekent. De laatste twee vallen buiten de scope, en er zijn zelfs geen gevestigde methoden of metrics voor dergelijke metingen. Dat betekent dat de evaluatie van AI-voor-wetenschap gegarandeerd een zeer onvolledig en bevooroordeeld beeld zal geven van de bruikbaarheid van deze tools en hun potentiële schade zal minimaliseren. Uiteindelijk komt het neer op de verknipte prikkels van de AI-voor-wetenschap laboratoria, vooral die in grote AI-bedrijven. Ze willen flashy "AI ontdekt X!" koppen zodat ze het verhaal kunnen volhouden dat AI de problemen van de mensheid zal oplossen, wat hen gunstige beleidsbehandeling oplevert. We houden onze adem niet in voor deze verandering. Maar een bewustzijn dat er iets ernstig mis is met de huidige koers is een goede eerste stap, en dat is het doel van dit essay van @sayashk en mij.