🧠Нове в блозі CITP від аспіранта Бойі Вея (@wei_boyi) з лабораторії POLARIS: ""Бульбашка" ризику: покращення оцінок для наступальних агентів кібербезпеки" Дізнайтеся про те, як зловмисники можуть адаптувати та модифікувати моделі з відкритим вихідним кодом, щоб обійти гарантії. 👇

Ще в аспірантурі, коли я зрозумів, як насправді працює «ринок ідей», мені здалося, що я знайшов чит-коди для дослідницької кар'єри. Сьогодні це найважливіша річ, яку я викладаю студентам, більше ніж все, що пов'язано зі змістом наших досліджень. Коротка передмова: коли я говорю про успіх у дослідженнях, я не маю на увазі публікацію великої кількості статей. Більшість опублікованих робіт припадають пилом, тому що в будь-якій галузі занадто багато досліджень, на які люди можуть звернути увагу. І особливо з огляду на легкість випуску препринтів, дослідження не обов'язково повинні бути офіційно опубліковані, щоб бути успішними. Отже, хоча публікації можуть бути необхідною умовою для кар'єрного зростання, вони не повинні бути метою. Для мене успіх у дослідженнях – це авторство ідей, які впливають на твоїх однолітків і роблять світ кращим. Отже, основна думка полягає в тому, що на ринку ідей з'являється занадто багато ідей, і нам потрібно зрозуміти, які з них в кінцевому підсумку виявляються впливовими. Хороша новина полягає в тому, що якість має значення — за інших рівних умов, кращі дослідження будуть успішнішими. Погана новина полягає в тому, що якість лише слабо корелює з успіхом, і є багато інших факторів, які мають значення. По-перше, завдайте собі кілька ударів по воротах. Роль удачі – постійна тема моїх кар'єрних порад. Це правда, що удача має велике значення у визначенні того, які папери будуть успішними, але це не означає, що ви повинні змиритися з нею. Ви можете збільшити свою «площу поверхні удачі». Наприклад, якщо ви завжди публікуєте препринти, у вас є кілька шансів на те, що вашу роботу помітять: один раз з препринтом, а другий з публікацією (плюс, якщо ви працюєте в галузі з великими затримками публікації, ви можете переконатися, що дослідження не буде вичерпаним або неактуальним до того моменту, коли воно вийде). У більш загальному плані, ставтеся до дослідницьких проектів як до стартапів — визнайте, що існує дуже велика різниця в результатах, причому деякі проекти в 10 або 100 разів успішніші за інші. Це означає пробувати багато різних речей, робити великі кроки, бути готовим переслідувати те, що ваші однолітки вважають поганими ідеями, але з певним уявленням про те, чому ви потенційно можете досягти успіху там, де інші до вас зазнали невдачі. Чи знаєте ви щось, чого не знають інші, чи вони знають щось, чого не знаєте ви? І якщо ви з'ясуєте, що це останнє, вам потрібно бути готовим швидко покинути проект, не ставши жертвою помилки затонулих витрат. Щоб було зрозуміло, успіх не залежить від удачі — якість і глибина мають велике значення. І потрібно кілька років досліджень, щоб заглибитися в тему. Але витратити кілька років на дослідження теми, перш ніж щось опублікувати, надзвичайно ризиковано, особливо на початку вашої кар'єри. Рішення просте: прагніть до проектів, а не до проблем. Проекти – це довгострокові дослідницькі програми, які тривають 3-5 років і більше. Продуктивний проект може легко виготовити десяток або більше статей (залежно від галузі). Навіщо обирати проекти, а не проблеми? Якщо ваш метод полягає в тому, щоб перескакувати з проблеми на проблему, отримані статті, швидше за все, будуть дещо поверхневими і можуть не мати великого впливу. А по-друге, якщо ви вже відомі за статтями на певну тему, люди з більшою ймовірністю звернуть увагу на ваші майбутні роботи на цю тему. (Так, репутація автора має велике значення. Будь-яке егалітарне уявлення про те, як люди вибирають, що читати, є міфом.) Підводячи підсумок, я зазвичай працюю над 2-3 довгостроковими проектами одночасно, і в рамках кожного проекту досліджується безліч проблем і випускається безліч документів на різних етапах воронки продажів. Найскладніше – це знати, коли закінчувати проект. У той момент, коли ви розглядаєте новий проект, ви порівнюєте щось, що займе кілька років, щоб дійсно втілитися в життя, з темою, де ви вже дуже продуктивні. Але ви повинні закінчити щось, щоб звільнити місце для чогось нового. Кинути палити в потрібний час завжди здається, що кинути занадто рано. Якщо ви керуєтеся своєю інтуїцією, ви залишитеся в одній і тій же області досліджень занадто довго. Нарешті, створіть свій власний дистрибутив. У минулому офіційна публікація статті служила двом цілям: надати їй довіру, яка походить від рецензування, і розповсюдити її серед своїх колег. Тепер ці дві функції повністю відірвалися. Публікація, як і раніше, приносить довіру, але дистрибуція майже повністю залежить від вас! Ось чому соціальні мережі мають таке велике значення. На жаль, соціальні медіа вводять нездорові стимули перебільшувати свої висновки, тому я вважаю, що блоги/інформаційні бюлетені та довгі відео є набагато кращими каналами. Ми живемо в другому золотому столітті блогів, і існує надзвичайна нестача людей, які можуть пояснити передові дослідження зі своїх дисциплін доступним способом, але не применшуючи їх, як у прес-релізах або новинних статтях. Ніколи не рано — я почав вести блог під час отримання ступеня доктора філософії, і він відіграв велику роль у поширенні моїх докторських досліджень, як у моїй науковій спільноті, так і за її межами. Зведення * Успіх у дослідженні – це не просто публікація * Ринок ідей насичений * Завдайте собі кілька ударів по воротах * Обирайте проекти, а не проблеми * Ставтеся до проектів як до стартапів * Створіть свій власний дистрибутив

Експерти з дисморфічного розладу тіла попередили, що люди, які борються з ним, стають все більш залежними від чат-ботів зі штучним інтелектом, які оцінюють їхні недоліки, які вони самі відчувають, і рекомендують косметичні операції. "Це з'являється майже на кожному окремому сеансі", - каже мені один терапевт.

Якби ми порівняли можливості штучного інтелекту з людьми без доступу до інструментів, таких як Інтернет, ми, ймовірно, виявили б, що ШІ вже перевершує людей у багатьох або більшості когнітивних завдань, які ми виконуємо на роботі. Але, звичайно, це не корисне порівняння і не говорить нам багато про економічні наслідки штучного інтелекту. Ми ніщо без наших інструментів. І все ж, багато прогнозів про вплив «AGI» засновані на гіпотетичних порівняннях людини та штучного інтелекту, в яких люди мають доступ до Інтернету, але не мають доступу до ШІ. Таке порівняння так само недоречне. Справжнє питання полягає в тому, що люди + штучний інтелект проти одного лише штучного інтелекту. У такому порівнянні штучний інтелект не зможе перевершити пари людина-штучний інтелект, за винятком вузьких, важких з обчислювальної точки зору областей, таких як ігри, де швидкість має першорядне значення, а наявність людини в кадрі лише сповільнює процес.* Отже, питання про те, чи замінить штучний інтелект людей, залежить від факторів, що виходять за рамки точності — таких речей, як підзвітність, здатність обробляти невідоме та потенційні уподобання клієнтів та інших працівників щодо взаємодії з людиною, і все це зважується проти вартості найму людини. Це не означає, що штучний інтелект не витіснить робочі місця. Але дивитися на орієнтири здібностей і відразу переходити до заяв про втрату роботи – абсолютно наївно. * Є багато досліджень, де працівники занадто часто неправильно замінюють ШІ, але це тому, що вони не проходили навчання щодо того, коли перевизначати, а коли ні, що є важливою навичкою в робочих процесах із підтримкою штучного інтелекту.

SB1047 був поганою ідеєю. Але остання модель SB53 сенатора Вінера знаходиться на правильному шляху, і важливо відзначити прогрес. Ось мої міркування. Мій підхід до регулювання нових технологій, таких як моделі, полягає в наступному: ми не знаємо, як визначити «хороші» заходи щодо пом'якшення наслідків і гарантії, але ми дізнаємося про це, коли — і якщо — ми це побачимо. Звідси випливають два наслідки. #1. Ми не повинні прописувати пороги ризику або стандарти надання медичної допомоги для розробки моделі. Ми не можемо домовитися про ризики, які мають значення, як їх вимірювати, або про те, скільки є забагато. Єдиним орієнтиром для розробників, регулюючих органів і судів є набір нових практик, визначених в першу чергу компаніями із закритим вихідним кодом, які покладаються на платний доступ для виконання важкої роботи. Це може охолодити відкриті інновації, наражаючи розробників на нечітку або підвищену відповідальність за широкий випуск. Це був SB1047 у двох словах, разом із ~5 еквівалентами, які він надихнув на цю сесію в США, наприклад, Закон RAISE у Нью-Йорку. Ми повинні уникати такого підходу. Ці пропозиції — у вузькому, але важливому аспекті — занадто далекі від їхніх лиж. І все ж: #2. Ми повинні пролити світло на галузеві практики, щоб краще зрозуміти старанність або її відсутність, яку застосовують різні фірми. Якщо розробникам доведеться дотримуватися політики безпеки, продемонструвати свою роботу та залишити паперовий слід, ми можемо краще оцінити силу їхніх вимог, відстежувати ризики, що виникають, і приймати рішення про майбутнє втручання. Це Закон ЄС про штучний інтелект і остаточний Кодекс практики в двох словах, який схвалили як OpenAI, так і Mistral, і це також остання версія SB53 @Scott_Wiener. Якщо ми збираємося регулювати розробку моделей, це, по суті, кращий підхід: регулювання прозорості, а не можливостей, пом'якшень або прийнятного ризику. Це надало б принаймні одній юрисдикції США наглядові повноваження Брюсселя і дозволило б уникнути непередбачених наслідків для відкритого розвитку. Щоб було зрозуміло, попереду ще айсберги: > складність. Big Tech чи ні, але це обтяжливі зобов'язання щодо документування та звітності. З тактичної точки зору, чим складніший, тим вразливішим стане цей законопроєкт. > Заохочення. Обов'язкове публічне звітування про добровільні оцінки ризиків створює збочений стимул для розробників недостатньо тестувати свої моделі та закривати очі на складні ризики. Дозвіл розробникам розкривати свої результати аудиторам або агентствам, а не публічно, може сприяти більшій відвертості в їхніх внутрішніх оцінках. > Троянський кінь. Гіперактивна культура Каліфорнії може ускладнити перевірку цих законопроектів. Якщо SB53 перетворюється на стандартний законопроєкт про медичну допомогу, як-от SB1047 або RAISE, його слід скасувати з тих самих причин, що й раніше. Чим більше фенечок буде додано до цієї ялинки, тим більш спірний рахунок. > Широта. Законопроєкт закидає широку сітку з розширеними визначеннями катастрофічного ризику та небезпечних можливостей. Для законопроекту про «обов'язкову звітність / добровільні практики» вони працюють. Якби цей законопроект був стандартним законопроєктом про догляд, вони були б нездійсненними. Підсумовуючи: знімаю капелюха перед сенатором Вінером за вдумливе залучення та реагування на відгуки протягом минулого року. Приємно бачити законопроект, який насправді ґрунтується на попередній критиці. Є ще багато шляхів, якими може піти цей законопроєкт – і він вийшов далеко за рамки початкової пропозиції щодо викривачів – але траєкторія є багатообіцяючою.

Для людей, які задаються питанням, що тут відбувається з технічної точки зору, пояснює: Коли є багато даних про тренування з певним стилем, використання подібного стилю у вашому запиті змусить LLM відповісти в цьому стилі. У цьому випадку є КУПА фанфіків: 🧵

Життя розробника Apple – це завжди лише одне примхливе, бюрократичне рішення, яке не залишить вас розореним. Нестерпним.

Ми самі з ентузіазмом використовуємо штучний інтелект у наших наукових робочих процесах. У повсякденному житті все це здається дуже захоплюючим. Але вплив штучного інтелекту на науку як інституцію, а не на окремих вчених – це інше питання, яке вимагає іншого виду аналізу. Написання цього есе в багатьох випадках вимагало боротьби з власною інтуїцією. Якщо ви вчений, який так само захоплений використанням цих інструментів, ми закликаємо вас пам'ятати про цю різницю. Чи може штучний інтелект уповільнити науку? Протистояння парадоксу «виробництво-прогрес» Трагедія полягає в тому, що існує багато інструментів штучного інтелекту для науки, які могли б реально змінити ситуацію, наприклад, штучний інтелект для виявлення потенційних помилок у науковому коді. Але лабораторії зациклені на інших речах на кшталт огляду літератури / «глибоких досліджень». Це не фактичне вузьке місце, тому не має значення, наскільки швидше ви це зробите. Тим часом ризики короткого замикання людського розуміння величезні. Евали є частиною проблеми. Є три види питань, які можна задати про інструмент літ-рев'ю: Чи економить він час дослідника і дає результати порівнянної якості з існуючими інструментами? Як використання інструменту впливає на розуміння літератури дослідником у порівнянні з традиційним пошуком? Яким буде колективний вплив на громаду, якщо цей інструмент буде широко прийнятий? Наприклад, чи всі в кінцевому підсумку будуть цитувати одні й ті ж кілька робіт? В даний час тільки перше питання розглядається частиною того, що означає оцінка. Останні два виходять за рамки, і для такого вимірювання навіть не існує встановлених методів або метрик. Це означає, що оцінка «штучний інтелект для науки» гарантовано надасть вкрай неповну та упереджену картину корисності цих інструментів та мінімізує їхню потенційну шкоду. Зрештою, все зводиться до зіпсованих стимулів лабораторій «штучний інтелект для науки», особливо тих, що працюють у великих компаніях зі штучним інтелектом. Вони хочуть яскравих заголовків «ШІ виявляє Х!», щоб вони могли підтримувати наратив про те, що штучний інтелект вирішить проблеми людства, що купує їм сприятливе політичне ставлення. Ми не затримуємо подих, щоб це змінилося. Але усвідомлення того, що щось серйозно не так з поточною траєкторією, є хорошим першим кроком, і це мета цього есе @sayashk і мене.

Нова публікація: Ілюзії датацентрів Серед середніх держав ОАЕ мають найчіткішу стратегію штучного інтелекту: стати «нафтовою державою штучного інтелекту» зі значною глобальною часткою обчислень. Більшість інших країн будують дата-центри, не націлюючись на життєздатні пороги суверенітету. 🧵

У 18 столітті існувала реальна ймовірність смерті в будь-який момент життя, а великого піку старості не було. Справа була не тільки в більш високій дитячій смертності - весь розподіл був абсолютно різним. Чудовий графік від @Scientific_Bird.