Kami sendiri adalah pengguna AI yang antusias dalam alur kerja ilmiah kami. Sehari-hari, semuanya terasa sangat mengasyikkan. Tetapi dampak AI pada sains sebagai institusi, bukan ilmuwan individu, adalah pertanyaan berbeda yang menuntut jenis analisis yang berbeda. Menulis esai ini membutuhkan perjuangan intuisi kita sendiri dalam banyak kasus. Jika Anda seorang ilmuwan yang sama bersemangat menggunakan alat ini, kami mendorong Anda untuk mengingat perbedaan ini. Bisakah AI memperlambat sains? Menghadapi paradoks produksi-kemajuan Tragedinya adalah ada banyak alat AI-untuk-sains yang akan membuat perbedaan nyata, seperti AI untuk menandai potensi kesalahan dalam kode ilmiah. Tetapi laboratorium terpaku pada hal-hal lain seperti tinjauan literatur / "penelitian mendalam". Ini bukan kemacetan yang sebenarnya, jadi tidak masalah seberapa cepat Anda membuatnya. Sementara itu, risiko korsleting pemahaman manusia sangat besar. Evals adalah bagian dari masalah. Ada tiga jenis pertanyaan yang dapat diajukan tentang alat tinjauan yang menyala: Apakah itu menghemat waktu peneliti dan menghasilkan hasil dengan kualitas yang sebanding dengan alat yang ada? Bagaimana penggunaan alat ini memengaruhi pemahaman peneliti tentang literatur dibandingkan dengan pencarian tradisional? Apa dampak kolektif terhadap masyarakat jika alat tersebut diadopsi secara luas? Misalnya, akankah semua orang berakhir mengutip beberapa makalah yang sama? Saat ini, hanya pertanyaan pertama yang dianggap sebagai bagian dari apa arti evaluasi. Dua yang terakhir berada di luar cakupan, dan bahkan tidak ada metode atau metrik yang mapan untuk pengukuran tersebut. Itu berarti bahwa evaluasi AI-for-science dijamin akan memberikan gambaran yang sangat tidak lengkap dan bias tentang kegunaan alat-alat ini dan meminimalkan potensi bahayanya. Pada akhirnya itu bermuara pada insentif yang kacau dari laboratorium AI-untuk-sains, terutama yang ada di perusahaan AI besar. Mereka menginginkan berita utama "AI menemukan X!" sehingga mereka dapat mempertahankan narasi bahwa AI akan memecahkan masalah umat manusia, yang memberi mereka perlakuan kebijakan yang menguntungkan. Kami tidak menahan napas agar ini berubah. Tetapi kesadaran bahwa ada sesuatu yang salah dengan lintasan saat ini adalah langkah pertama yang baik, dan itulah tujuan dari esai @sayashk dan saya ini.