Vi är själva entusiastiska användare av AI i våra vetenskapliga arbetsflöden. Till vardags känns det hela väldigt spännande. Men AI:s inverkan på vetenskapen som institution, snarare än enskilda forskare, är en annan fråga som kräver en annan typ av analys. Att skriva den här uppsatsen krävde i många fall att vi kämpade mot våra egna intuitioner. Om du är en forskare som är lika entusiastisk över att använda dessa verktyg, uppmanar vi dig att ha denna skillnad i åtanke. Kan AI bromsa vetenskapen? Att konfrontera paradoxen mellan produktion och framsteg Det tragiska är att det finns många AI-för-vetenskap-verktyg som skulle göra verklig skillnad, till exempel AI för att flagga potentiella fel i vetenskaplig kod. Men labben är fixerade vid andra saker som litteraturöversikt/"deep research". Detta är inte en faktisk flaskhals, så det spelar ingen roll hur mycket snabbare du gör det. Samtidigt är riskerna för att kortsluta mänsklig förståelse enorma. Evals är en del av problemet. Det finns tre typer av frågor man kan ställa om ett lit-review-verktyg: Sparar det tid för en forskare och ger det resultat av jämförbar kvalitet med befintliga verktyg? Hur påverkar användningen av verktyget forskarens förståelse av litteraturen jämfört med traditionell sökning? Vilka kommer de samlade effekterna på samhället att bli om verktyget används i stor utsträckning? Kommer till exempel alla att citera samma få artiklar? För närvarande anses endast den första frågan vara en del av vad utvärdering innebär. De två sistnämnda omfattas inte, och det finns inte ens etablerade metoder eller mätvärden för sådan mätning. Det innebär att utvärdering av AI för vetenskap garanterat ger en mycket ofullständig och partisk bild av användbarheten av dessa verktyg och minimerar deras potentiella skador. I slutändan handlar det om de trassliga incitamenten hos AI-for-science-laboratorierna, särskilt de i stora AI-företag. De vill ha flashiga "AI upptäcker X!" rubriker så att de kan upprätthålla narrativet att AI kommer att lösa mänsklighetens problem, vilket ger dem en gynnsam politisk behandling. Vi håller inte andan för att detta ska förändras. Men en medvetenhet om att något är allvarligt fel med den nuvarande banan är ett bra första steg, och det är målet med den här uppsatsen av @sayashk och mig.