🧠Baru di Blog CITP dari mahasiswa PhD Boyi Wei (@wei_boyi) dari Lab POLARIS: "'Gelembung' Risiko: Meningkatkan Penilaian untuk Agen Keamanan Siber Ofensif" Baca tentang bagaimana musuh dapat beradaptasi dan memodifikasi model sumber terbuka untuk melewati perlindungan. 👇

Kembali ke sekolah pascasarjana, ketika saya menyadari bagaimana "pasar ide" benar-benar bekerja, rasanya seperti saya telah menemukan kode cheat untuk karir penelitian. Hari ini, ini adalah hal terpenting yang saya ajarkan kepada siswa, lebih dari apa pun yang terkait dengan substansi penelitian kami. Kata pengantar singkat: ketika saya berbicara tentang keberhasilan penelitian, saya tidak bermaksud menerbitkan banyak makalah. Sebagian besar makalah yang diterbitkan mengumpulkan debu karena ada terlalu banyak penelitian di bidang apa pun untuk diperhatikan orang. Dan terutama mengingat kemudahan mengeluarkan pre-print, penelitian tidak perlu dipublikasikan secara resmi agar berhasil. Jadi, meskipun publikasi mungkin merupakan prasyarat untuk kemajuan karier, publikasi seharusnya tidak menjadi tujuannya. Bagi saya, keberhasilan penelitian adalah kepenulisan ide-ide yang memengaruhi rekan-rekan Anda dan membuat dunia menjadi tempat yang lebih baik. Jadi wawasan dasarnya adalah bahwa ada terlalu banyak ide yang memasuki pasar ide, dan kita perlu memahami mana yang akhirnya berpengaruh. Kabar baiknya adalah bahwa kualitas itu penting - hal lain yang sama, penelitian yang lebih baik akan lebih berhasil. Kabar buruknya adalah bahwa kualitas hanya berkorelasi lemah dengan kesuksesan, dan ada banyak faktor lain yang penting. Pertama, berikan diri Anda beberapa tembakan ke gawang. Peran keberuntungan adalah tema reguler dari nasihat karir saya. Memang benar bahwa keberuntungan sangat penting dalam menentukan makalah mana yang berhasil, tetapi itu tidak berarti pasrah padanya. Anda dapat meningkatkan "area permukaan keberuntungan" Anda. Misalnya, jika Anda selalu mengeluarkan pracetak, Anda mendapatkan banyak kesempatan untuk pekerjaan Anda diperhatikan: sekali dengan pracetak dan sekali dengan publikasi (ditambah jika Anda berada di bidang dengan kelambatan publikasi yang besar, Anda dapat memastikan penelitian tidak tersendok atau tidak relevan pada saat keluar). Secara lebih umum, perlakukan proyek penelitian seperti startup — terimalah bahwa ada variasi hasil yang sangat tinggi, dengan beberapa proyek 10x atau 100x lebih sukses daripada yang lain. Ini berarti mencoba banyak hal yang berbeda, mengambil ayunan besar, bersedia mengejar apa yang dianggap oleh rekan-rekan Anda sebagai ide buruk, tetapi dengan beberapa gagasan mengapa Anda berpotensi berhasil di mana orang lain sebelum Anda gagal. Apakah Anda tahu sesuatu yang tidak diketahui orang lain, atau apakah mereka tahu sesuatu yang tidak Anda ketahui? Dan jika Anda mengetahui itu yang terakhir, Anda harus bersedia untuk berhenti dari proyek dengan cepat, tanpa menjadi mangsa kekeliruan biaya tenggelam. Untuk lebih jelasnya, kesuksesan tidak semuanya tergantung pada keberuntungan - kualitas dan kedalaman sangat penting. Dan dibutuhkan beberapa tahun penelitian untuk mendalami suatu topik. Tetapi menghabiskan beberapa tahun meneliti topik sebelum Anda menerbitkan apa pun sangat berisiko, terutama di awal karir Anda. Solusinya sederhana: mengejar proyek, bukan masalah. Proyek adalah agenda penelitian jangka panjang yang berlangsung 3-5 tahun atau lebih. Proyek yang produktif dapat dengan mudah menghasilkan selusin atau lebih makalah (tergantung pada bidangnya). Mengapa memilih proyek daripada masalah? Jika metode Anda adalah melompat dari masalah ke masalah, makalah yang dihasilkan cenderung agak dangkal dan mungkin tidak berdampak banyak. Dan kedua, jika Anda sudah dikenal dengan makalah tentang topik tertentu, orang lebih cenderung memperhatikan makalah Anda di masa mendatang tentang topik tersebut. (Ya, reputasi penulis sangat penting. Gagasan egaliter apa pun tentang bagaimana orang memilih apa yang akan dibaca adalah mitos.) Untuk rekap, saya biasanya mengerjakan 2-3 proyek jangka panjang sekaligus, dan dalam setiap proyek ada banyak masalah yang sedang diselidiki dan banyak makalah yang diproduksi di berbagai tahap pipa. Bagian tersulit adalah mengetahui kapan harus mengakhiri proyek. Saat Anda mempertimbangkan proyek baru, Anda membandingkan sesuatu yang akan memakan waktu beberapa tahun untuk benar-benar membuahkan hasil dengan topik di mana Anda sudah sangat produktif. Tetapi Anda harus mengakhiri sesuatu untuk memberi ruang bagi sesuatu yang baru. Berhenti pada waktu yang tepat selalu terasa seperti berhenti terlalu dini. Jika Anda mengikuti insting Anda, Anda akan tinggal di area penelitian yang sama terlalu lama. Terakhir, bangun distribusi Anda sendiri. Di masa lalu, publikasi resmi sebuah makalah melayani dua tujuan: untuk memberikan kredibilitas yang berasal dari tinjauan sejawat, dan untuk mendistribusikan makalah tersebut kepada rekan-rekan Anda. Sekarang kedua fungsi itu telah terputus sepenuhnya. Publikasi masih membawa kredibilitas, tetapi distribusi hampir seluruhnya terserah Anda! Inilah mengapa media sosial sangat penting. Sayangnya media sosial memperkenalkan insentif yang tidak sehat untuk melebih-lebihkan temuan Anda, jadi saya menemukan blog/buletin dan video berdurasi panjang sebagai saluran yang jauh lebih baik. Kita berada di zaman keemasan kedua blogging dan ada kelangkaan ekstrim orang yang dapat menjelaskan penelitian mutakhir dari disiplin ilmu mereka dengan cara yang mudah diakses tetapi tanpa membodohkannya seperti dalam siaran pers atau artikel berita. Tidak pernah terlalu dini — saya memulai blog selama PhD saya dan itu memainkan peran besar dalam menyebarkan penelitian doktoral saya, baik di dalam komunitas penelitian saya maupun di luarnya. Ringkasan * Keberhasilan penelitian tidak hanya berarti publikasi * Pasar ide jenuh * Berikan diri Anda beberapa tembakan ke gawang * Pilih proyek, bukan masalah * Perlakukan proyek seperti startup * Bangun distribusi Anda sendiri

Para ahli tentang gangguan dismorfik tubuh telah memperingatkan bahwa orang-orang yang berjuang dengannya menjadi semakin bergantung pada chatbot AI untuk mengevaluasi kekurangan yang dirasakan sendiri dan merekomendasikan operasi kosmetik. "Ini hampir muncul di setiap sesi," kata seorang terapis kepada saya.

Jika kita membandingkan kemampuan AI dengan manusia tanpa akses ke alat, seperti internet, kita mungkin akan menemukan bahwa AI sudah mengungguli manusia dalam banyak atau sebagian besar tugas kognitif yang kita lakukan di tempat kerja. Tapi tentu saja ini bukan perbandingan yang membantu dan tidak memberi tahu kita banyak tentang dampak ekonomi AI. Kita bukan apa-apa tanpa alat kita. Namun, banyak prediksi tentang dampak "AGI" didasarkan pada perbandingan manusia-AI hipotetis di mana manusia memiliki akses internet tetapi tidak ada akses AI. Perbandingan semacam ini sama-sama tidak relevan. Pertanyaan sebenarnya adalah manusia + AI vs AI saja. Dalam perbandingan seperti itu, AI tidak akan mengungguli pasangan manusia-AI, kecuali dalam domain sempit dan berat secara komputasi seperti game di mana kecepatan adalah yang terpenting dan memiliki manusia dalam gambar hanya memperlambat segalanya.* Jadi apakah AI akan menggantikan manusia atau tidak tergantung pada faktor-faktor di luar akurasi - hal-hal seperti akuntabilitas, kemampuan untuk menangani hal yang tidak diketahui yang tidak diketahui, dan preferensi potensial pelanggan dan pekerja lain untuk berinteraksi dengan manusia, semuanya ditimbang dengan biaya mempekerjakan manusia. Ini bukan untuk mengatakan bahwa AI tidak akan menggantikan pekerjaan. Tetapi melihat tolok ukur kemampuan dan langsung ke klaim tentang kehilangan pekerjaan benar-benar naif. * Ada banyak penelitian di mana pekerja terlalu sering mengesampingkan AI, tetapi itu karena mereka tidak menerima pelatihan tentang kapan harus mengesampingkan dan kapan tidak, yang merupakan keterampilan penting dalam alur kerja yang didukung AI.

SB1047 adalah ide yang buruk. Tetapi SB53 terbaru Senator Wiener berada di jalur yang benar, dan penting untuk menyebutkan kemajuannya. Inilah alasan saya. Pendekatan saya untuk mengatur teknologi baru seperti model adalah: kita tidak tahu bagaimana mendefinisikan mitigasi dan jaminan yang "baik", tetapi kita akan mengetahuinya kapan—dan jika—kita melihatnya. Ada dua implikasi. #1. Kita seharusnya tidak menetapkan ambang batas risiko atau standar perawatan untuk pengembangan model. Kita tidak dapat menyetujui risiko yang penting, bagaimana mengukurnya, atau berapa banyak yang terlalu banyak. Satu-satunya panduan untuk pengembang, regulator, dan pengadilan adalah serangkaian praktik baru yang ditentukan terutama oleh perusahaan sumber tertutup yang mengandalkan paywall untuk melakukan pekerjaan berat. Melakukannya dapat mendinginkan inovasi terbuka dengan mengekspos pengembang pada tanggung jawab yang tidak jelas atau meningkat untuk rilis yang luas. Itu adalah SB1047 secara singkat, bersama dengan ~5 padanan yang diilhami di seluruh AS sesi ini, seperti RAISE Act di NY. Kita harus menghindari pendekatan itu. Proposal ini – dalam hal sempit tetapi penting – terlalu jauh di atas ski mereka. Namun: #2. Kita perlu menyoroti praktik industri untuk lebih memahami ketekunan, atau kekurangannya, yang diterapkan oleh perusahaan yang berbeda. Jika pengembang harus berkomitmen pada kebijakan keselamatan dan keamanan, menunjukkan cara kerja mereka, dan meninggalkan jejak kertas, kami dapat menilai kekuatan klaim mereka dengan lebih baik, memantau risiko yang muncul, dan memutuskan intervensi di masa mendatang. Itu adalah Undang-Undang AI UE dan Kode Praktik akhir secara singkat, yang telah didukung oleh OpenAI dan Mistral, dan ini juga merupakan versi terbaru @Scott_Wiener dari SB53. Jika kita akan mengatur pengembangan model, itu pada dasarnya adalah pendekatan yang lebih baik: mengatur transparansi—bukan kemampuan, mitigasi, atau risiko yang dapat diterima. Ini akan memberi setidaknya satu yurisdiksi AS otoritas pengawasan Brussels, dan itu akan menghindari efek yang tidak diinginkan pada pembangunan terbuka. Untuk lebih jelasnya, masih ada gunung es di depan: > Kompleksitas. Big Tech atau bukan, ini adalah dokumentasi dan kewajiban pelaporan yang memberatkan. Secara taktis, semakin kompleks, semakin rentan RUU ini. > Insentif. Pelaporan publik wajib dari penilaian risiko sukarela menciptakan insentif yang menyimpang bagi pengembang untuk kurang menguji model mereka, dan menutup mata terhadap risiko yang sulit. Mengizinkan pengembang untuk mengungkapkan hasil mereka kepada auditor atau lembaga daripada secara publik dapat membantu mempromosikan kejujuran yang lebih besar dalam penilaian internal mereka. > kuda Troya. Budaya hiperaktif California dapat menyulitkan untuk memeriksa RUU ini. Jika SB53 berubah menjadi tagihan standar perawatan seperti SB1047 atau RAISE, itu harus dibatalkan karena alasan yang sama seperti sebelumnya. Semakin banyak pernak-pernik yang ditambahkan ke pohon Natal ini, semakin kontroversial tagihannya. > Luas. RUU tersebut melemparkan jaring lebar dengan definisi luas tentang risiko bencana dan kemampuan berbahaya. Untuk RUU "pelaporan wajib / praktik sukarela", mereka berfungsi. Jika RUU ini adalah RUU standar perawatan, mereka tidak akan layak. Singkatnya: angkat topi untuk Senator Wiener karena terlibat dengan bijaksana dan menanggapi umpan balik selama setahun terakhir. Sangat menyegarkan melihat RUU yang benar-benar dibangun di atas kritik sebelumnya. Masih banyak jalan yang bisa diambil RUU ini—dan telah berkembang jauh melampaui proposal whistleblowing asli—tetapi lintasannya menjanjikan.

Bagi orang-orang yang bertanya-tanya apa yang terjadi di sini secara teknis, penjelasan: Ketika ada banyak data pelatihan dengan gaya tertentu, menggunakan gaya serupa dalam prompt Anda akan memicu LLM untuk merespons dengan gaya itu. Dalam hal ini, ada BANYAK fanfic: 🧵

Kehidupan sebagai pengembang Apple selalu hanya satu keputusan birokrasi yang berubah-ubah untuk membuat Anda hancur. Tak tertahankan.

Kami sendiri adalah pengguna AI yang antusias dalam alur kerja ilmiah kami. Sehari-hari, semuanya terasa sangat mengasyikkan. Tetapi dampak AI pada sains sebagai institusi, bukan ilmuwan individu, adalah pertanyaan berbeda yang menuntut jenis analisis yang berbeda. Menulis esai ini membutuhkan perjuangan intuisi kita sendiri dalam banyak kasus. Jika Anda seorang ilmuwan yang sama bersemangat menggunakan alat ini, kami mendorong Anda untuk mengingat perbedaan ini. Bisakah AI memperlambat sains? Menghadapi paradoks produksi-kemajuan Tragedinya adalah ada banyak alat AI-untuk-sains yang akan membuat perbedaan nyata, seperti AI untuk menandai potensi kesalahan dalam kode ilmiah. Tetapi laboratorium terpaku pada hal-hal lain seperti tinjauan literatur / "penelitian mendalam". Ini bukan kemacetan yang sebenarnya, jadi tidak masalah seberapa cepat Anda membuatnya. Sementara itu, risiko korsleting pemahaman manusia sangat besar. Evals adalah bagian dari masalah. Ada tiga jenis pertanyaan yang dapat diajukan tentang alat tinjauan yang menyala: Apakah itu menghemat waktu peneliti dan menghasilkan hasil dengan kualitas yang sebanding dengan alat yang ada? Bagaimana penggunaan alat ini memengaruhi pemahaman peneliti tentang literatur dibandingkan dengan pencarian tradisional? Apa dampak kolektif terhadap masyarakat jika alat tersebut diadopsi secara luas? Misalnya, akankah semua orang berakhir mengutip beberapa makalah yang sama? Saat ini, hanya pertanyaan pertama yang dianggap sebagai bagian dari apa arti evaluasi. Dua yang terakhir berada di luar cakupan, dan bahkan tidak ada metode atau metrik yang mapan untuk pengukuran tersebut. Itu berarti bahwa evaluasi AI-for-science dijamin akan memberikan gambaran yang sangat tidak lengkap dan bias tentang kegunaan alat-alat ini dan meminimalkan potensi bahayanya. Pada akhirnya itu bermuara pada insentif yang kacau dari laboratorium AI-untuk-sains, terutama yang ada di perusahaan AI besar. Mereka menginginkan berita utama "AI menemukan X!" sehingga mereka dapat mempertahankan narasi bahwa AI akan memecahkan masalah umat manusia, yang memberi mereka perlakuan kebijakan yang menguntungkan. Kami tidak menahan napas agar ini berubah. Tetapi kesadaran bahwa ada sesuatu yang salah dengan lintasan saat ini adalah langkah pertama yang baik, dan itulah tujuan dari esai @sayashk dan saya ini.

Posting Baru: Delusi Pusat Data Di antara kekuatan menengah, UEA memiliki strategi AI yang paling jelas: menjadi 'negara minyak AI' dengan pangsa komputasi global yang berarti. Sebagian besar negara lain membangun pusat data tanpa menargetkan ambang batas kedaulatan yang layak. 🧵

Pada abad ke-18, ada kemungkinan nyata kematian kapan pun dalam hidup, dan tidak ada puncak besar di usia tua. Bukan hanya kematian bayi yang lebih tinggi - seluruh distribusinya benar-benar berbeda. Bagan bagus oleh @Scientific_Bird.