Ця маленька чорна коробочка посередині – це код машинного навчання. Я пам'ятаю, як читав статтю Google 2015 року «Прихований технічний борг у ML» і думав, наскільки мало програми для машинного навчання було справжнім машинним навчанням. Переважна більшість стосувалася інфраструктури, управління даними та операційної складності. З появою штучного інтелекту здавалося, що великі мовні моделі поглинуть ці коробки. Обіцянка полягала в простоті: вставте LLM і спостерігайте, як він справляється з усім, від обслуговування клієнтів до генерації коду. Більше ніяких складних пайплайнів або крихких інтеграцій. Але при побудові внутрішніх додатків ми спостерігали аналогічну динаміку зі штучним інтелектом. Агентам потрібно багато контексту, як людині: як побудована CRM, що ми вводимо в кожне поле - але введення коштує дорого модель Hungry, Hungry AI. Зниження вартості означає написання детермінованого програмного забезпечення, яке замінить міркування про штучний інтелект. Наприклад, автоматизація управління електронною поштою означає написання інструментів для створення завдань Asana та оновлення CRM. У міру того, як кількість інструментів збільшується за межі десяти або п'ятнадцяти інструментів, виклик інструментів більше не працює. Настав час розкрутити класичну модель машинного навчання для підбору інструментів. Потім можна спостерігати за системою, оцінити, чи вона ефективна, і спрямувати її до потрібної моделі. Крім того, існує ціла категорія програмного забезпечення, яке гарантує, що штучний інтелект робить те, що він повинен. Огородження запобігають неадекватним реакціям. Обмеження швидкості запобігає виходу витрат з-під контролю, коли система виходить з ладу. Інформаційний пошук (RAG - retrieval augmented generation) має важливе значення для будь-якої виробничої системи. У своєму поштовому додатку я використовую векторну базу даних LanceDB, щоб знайти всі листи від конкретного відправника та відповідати їхньому тону. Існують і інші методи управління знаннями, пов'язані з графами, RAG і спеціалізованими векторними базами даних. Останнім часом пам'ять стала набагато важливішою. Інтерфейси командного рядка для інструментів штучного інтелекту зберігають історію розмов у вигляді файлів Markdown. Коли я публікую діаграми, я хочу, щоб у нижньому правому куті був підпис Theory Ventures, певний шрифт, кольори та стилі. Тепер всі вони зберігаються у файлах .gemini або .claude у серії каскадних каталогів. Первісна простота великих мовних моделей була підпорядкована складності виробництва корпоративного рівня. Це не ідентично попередньому поколінню систем машинного навчання, але йде чітка паралель. Те, що здавалося простою «магічною скринькою штучного інтелекту», виявляється айсбергом, більшість інженерної роботи якого прихована під поверхнею.