Этот маленький черный ящик посередине — это код машинного обучения. Я помню, как читал статью Google 2015 года «Скрытый технический долг в машинном обучении» и думал, как мало в приложении машинного обучения на самом деле является машинным обучением. Большая часть — это инфраструктура, управление данными и операционная сложность. С наступлением эпохи ИИ казалось, что большие языковые модели поглотят эти ящики. Обещание заключалось в простоте: просто внедрите LLM и смотрите, как он справляется со всем, от обслуживания клиентов до генерации кода. Больше никаких сложных конвейеров или хрупких интеграций. Но при создании внутренних приложений мы наблюдали аналогичную динамику с ИИ. Агентам нужно много контекста, как человеку: как структурирована CRM, что мы вводим в каждое поле — но ввод данных дорогой для голодной, голодной модели ИИ. Снижение затрат означает написание детерминированного программного обеспечения, чтобы заменить рассуждения ИИ. Например, автоматизация управления электронной почтой означает написание инструментов для создания задач в Asana и обновления CRM. Когда количество инструментов превышает десять или пятнадцать, вызов инструментов больше не работает. Время запустить классическую модель машинного обучения для выбора инструментов. Затем нужно следить за системой с помощью наблюдаемости, оценивать, насколько она производительна, и направлять к правильной модели. Кроме того, существует целая категория программного обеспечения, обеспечивающего выполнение ИИ своих задач. Ограничительные меры предотвращают неуместные ответы. Ограничение частоты помогает предотвратить рост затрат, когда система выходит из-под контроля. Извлечение информации (RAG - извлечение с дополнением генерации) является необходимым для любой производственной системы. В моем приложении для электронной почты я использую векторную базу данных LanceDB, чтобы находить все письма от конкретного отправителя и сопоставлять их тон. Существуют и другие методы управления знаниями, связанные с графом RAG и специализированными векторными базами данных. В последнее время память стала гораздо более важной. Интерфейсы командной строки для инструментов ИИ сохраняют историю разговоров в виде файлов markdown. Когда я публикую графики, я хочу, чтобы подпись Theory Ventures была в правом нижнем углу, с определенным шрифтом, цветами и стилями. Все это теперь сохраняется в файлах .gemini или .claude в серии каскадных каталогов. Исходная простота больших языковых моделей была поглощена сложностью производственных систем корпоративного уровня. Это не идентично предыдущему поколению систем машинного обучения, но следует четкой параллели. То, что казалось простым «волшебным ящиком ИИ», оказывается айсбергом, где большая часть инженерной работы скрыта под поверхностью.