Tou malou černou skříňkou uprostřed je kód strojového učení. Pamatuji si, jak jsem četl článek Google z roku 2015 Hidden Technical Debt in ML a přemýšlel jsem, jak málo je aplikace strojového učení skutečným strojovým učením. Drtivou většinu tvořila infrastruktura, správa dat a provozní složitost. S úsvitem umělé inteligence se zdálo, že tyto škatulky zahrnou velké jazykové modely. Příslib byl jednoduchý: vložte LLM a sledujte, jak zvládá vše od zákaznického servisu po generování kódu. Už žádné složité pipelines nebo křehké integrace. Při vytváření interních aplikací jsme však podobnou dynamiku pozorovali i u AI. Agenti potřebují spoustu kontextu, stejně jako člověk: jak je strukturováno CRM, co vstupujeme do jednotlivých polí - ale vstup je drahý model Hungry, Hungry AI. Snížení nákladů znamená psaní deterministického softwaru, který nahradí uvažování o umělé inteligenci. Například automatizace správy e-mailů znamená psaní nástrojů pro vytváření úloh v Asaně a aktualizaci CRM. S nárůstem počtu nástrojů nad deset nebo patnáct nástrojů přestává volání nástrojů fungovat. Je čas spustit klasický model strojového učení pro výběr nástrojů. Pak je tu sledování systému s pozorovatelností, hodnocení, zda je výkonný, a směrování ke správnému modelu. Kromě toho existuje celá kategorie softwaru, která se stará o to, aby umělá inteligence dělala to, co má. Mantinely zabraňují nevhodným reakcím. Omezování rychlosti zabraňuje tomu, aby se náklady vymkly kontrole, když se systém pokazí. Získávání informací (RAG - retrieval augmented generation) je nezbytné pro každý produkční systém. Ve své e-mailové aplikaci používám vektorovou databázi LanceDB, abych našel všechny e-maily od konkrétního odesílatele a přizpůsobil se jeho tónu. Existují i další techniky pro správu znalostí kolem grafů RAG a specializovaných vektorových databází. V poslední době se paměť stala mnohem důležitější. Rozhraní příkazového řádku pro nástroje AI ukládají historii konverzací jako soubory markdown. Když publikuji grafy, chci titulek Theory Ventures vpravo dole, konkrétní písmo, barvy a styly. Ty jsou nyní všechny uloženy v souborech .gemini nebo .claude v řadě kaskádových adresářů. Původní jednoduchost velkých jazykových modelů byla nahrazena složitostí produkce na podnikové úrovni. To není totožné s předchozí generací systémů strojového učení, ale sleduje jasnou paralelu. To, co vypadalo jako jednoduchá "kouzelná skříňka umělé inteligence", se ukázalo být ledovcem, přičemž většina inženýrské práce byla skryta pod povrchem.