Vi er selv entusiastiske brukere av AI i våre vitenskapelige arbeidsflyter. I det daglige føles det hele veldig spennende. Men virkningen av AI på vitenskap som institusjon, snarere enn individuelle forskere, er et annet spørsmål som krever en annen type analyse. Å skrive dette essayet krevde i mange tilfeller å kjempe mot våre egne intuisjoner. Hvis du er en forsker som er like begeistret for å bruke disse verktøyene, oppfordrer vi deg til å ha denne forskjellen i bakhodet. Kan AI bremse vitenskapen? Konfronterer paradokset mellom produksjon og fremdrift Tragedien er at det er mange AI-for-vitenskap-verktøy som vil utgjøre en reell forskjell, for eksempel AI for å flagge potensielle feil i vitenskapelig kode. Men laboratoriene er fiksert på andre ting som litteraturgjennomgang / "dyp forskning". Dette er ikke en faktisk flaskehals, så det spiller ingen rolle hvor mye raskere du klarer det. I mellomtiden er risikoen for å kortslutte menneskelig forståelse enorm. Evals er en del av problemet. Det er tre typer spørsmål man kan stille om et lit-review-verktøy: Sparer det en forsker tid og produserer resultater av sammenlignbar kvalitet med eksisterende verktøy? Hvordan påvirker bruken av verktøyet forskerens forståelse av litteraturen sammenlignet med tradisjonelt søk? Hva vil de kollektive konsekvensene for samfunnet være hvis verktøyet ble tatt i bruk? Vil for eksempel alle ende opp med å sitere de samme få artiklene? Foreløpig er det bare det første spørsmålet som regnes som en del av hva evaluering betyr. De to sistnevnte er utenfor omfanget, og det er ikke engang etablerte metoder eller beregninger for slik måling. Det betyr at AI-for-vitenskapelig evaluering garantert vil gi et svært ufullstendig og partisk bilde av nytten av disse verktøyene og minimere deres potensielle skader. Til syvende og sist kommer det ned til de rotete insentivene til AI-for-vitenskap-laboratoriene, spesielt de i store AI-selskaper. De vil ha prangende «AI oppdager X!»-overskrifter slik at de kan opprettholde fortellingen om at AI vil løse menneskehetens problemer, noe som kjøper dem gunstig politisk behandling. Vi holder ikke pusten for at dette skal endre seg. Men en bevissthet om at noe er alvorlig galt med den nåværende banen er et godt første skritt, og det er målet med dette essayet av @sayashk og meg.