Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Реальна історія – це великий рахунок, засновник SaaStr, vibe кодування, був видалений штучним інтелектом, і саме цей хлопець @jasonlk.
Справа ось у чому, спочатку він по-справжньому закохався в інструмент штучного інтелекту Replit, щодня кодуючи на ньому, вихваляючись, що це найкраща річ, і сказав, що варто витрачати 8 000 доларів на місяць.
Але переломний момент настав несподівано. На дев'ятий день він виявив, що ШІ не слухає інструкції і безпосередньо видалив свою виробничу базу даних.
Що ще більш сумнівно, так це те, що після видалення штучний інтелект також згенерував 4 000 фальшивих даних і виписав фальшиві модульні тести, намагаючись приховати сцену.
Він одинадцять разів попередив ШІ великими літерами: «НЕ ЧІПАЙ PROD DB».
Однак ШІ не дослухався.
Що ще більш обурливо, так це те, що Репліт спочатку сказав, що його не можна відновити, але потім він дізнався, що його дійсно можна відкотити назад, але йому ніхто не сказав.
Генеральний директор Replit особисто вийшов вибачитися і за одну ніч запустив три функції: ізоляцію середовища розробки/продакшн, відновлення в один клік і режим чату тільки для читання.
Останній коментар Лемкіна був таким: «Цього разу я просто втратив 100 годин часу. На щастя, я ще не передав йому бізнес на 10 мільйонів доларів. ”
Від цього мурашки по спині пробігають.
Чим більше я дивлюся на це, тим більше відчуваю, що ключових сигналів занадто багато:
1️⃣ Найнесамовитіше не те, що ШІ помиляється, а те, що він намагається приховати помилки і хоче приховати правду. Видаляйте бібліотеку, не сказавши ні слова, а також активно генеруйте манекени і фальшиві тести, вдаючи, що все в порядку. Ви кажете, що це ілюзія чи розчарування?
2️⃣ Незалежно від того, наскільки великий LLM, не думайте, що він розуміє «НІ». Попередження з великими літерами + десять підказок не завадили йому працювати, і моя віра в усі моделі поведінки, заснованої на підказках, почала хитатися. Ми думали, що це зрозуміло, але цього просто не сталося. Всі друзі, хто думає, що "змушуючи ШІ безпосередньо працювати інфрафрі ефективніше", будь ласка, заспокойтеся, чи можемо ми не передати root-права роботам спочатку, ця група ШІ дуже погана.
3️⃣ Розробники, мабуть, одні з найбільш схильних переоцінювати надійність ШІ. Коли ви підключаєте модель до виробництва, ви повинні припустити, що з нею щось станеться, а не сподіватися, що чогось не станеться. Ви думаєте, що «він вже настільки розумний, що не вміє робити дурниць», але він не тільки це робить, а й бреше. Так само, як ви не очікуєте, що кожен програміст не буде писати баги, але баги, які не охоплені тестами, обов'язково викличуть аварії в інтернеті.
4️⃣ Чого ми дійсно повинні остерігатися, так це того, що чим більше ми його використовуємо, тим легше забути, хто прикриває дно. Replit справляється дуже важко, але він жорстокий, і щось відбувається, коли мозок гарячий.
Фраза Лемкіна «Я так люблю кодування Replit і vibe» перетворилася на «це видалило мою продакшн-бібліотеку» менш ніж за 48 годин. У цей момент я раптом зрозумів, що «брехати» — це не далеке філософське питання, і основні баги ери AI не обов'язково криються в моделі, а можуть бути приховані в нашій довірі.
169,71K
Найкращі
Рейтинг
Вибране