Den lilla svarta rutan i mitten är maskininlärningskod. Jag minns att jag läste Googles rapport Hidden Technical Debt in ML från 2015 och tänkte på hur lite av en maskininlärningsapplikation som var faktisk maskininlärning. Den allra största delen var infrastruktur, datahantering och operativ komplexitet. I och med den artificiella intelligensens gryning verkade det som om stora språkmodeller skulle ta över dessa boxar. Löftet var enkelhet: släpp in en LLM och se hur den hanterar allt från kundservice till kodgenerering. Inga fler komplexa pipelines eller bräckliga integrationer. Men när vi bygger interna applikationer har vi observerat en liknande dynamik med AI. Agenter behöver mycket sammanhang, som en människa : hur är CRM strukturerat, vad skriver vi in i varje fält - men input är dyrt den hungriga, hungriga AI-modellen. Att minska kostnaderna innebär att skriva deterministisk programvara för att ersätta AI:s resonemang. Automatisering av e-posthantering innebär till exempel att skriva verktyg för att skapa Asana-uppgifter och uppdatera CRM. I takt med att antalet verktyg ökar till från tio eller femton verktyg fungerar det inte längre att kalla på verktyg. Dags att skapa en klassisk maskininlärningsmodell för att välja verktyg. Sedan är det att titta på systemet med observerbarhet, utvärdera om det är högpresterande och dirigera till rätt modell. Dessutom finns det en hel kategori av programvara som ser till att AI:n gör vad den ska. Skyddsräcken förhindrar olämpliga svar. Hastighetsbegränsning hindrar kostnaderna från att skena iväg när ett system går överstyr. Informationshämtning (RAG - retrieval augmented generation) är viktigt för alla produktionssystem. I min e-postapp använder jag en LanceDB-vektordatabas för att hitta alla e-postmeddelanden från en viss avsändare och matcha deras ton. Det finns andra tekniker för kunskapshantering kring graf-RAG och specialiserade vektordatabaser. På senare tid har minnet blivit mycket viktigare. Kommandoradsgränssnitten för AI-verktyg sparar konversationshistorik som markdown-filer. När jag publicerar diagram vill jag ha Theory Ventures-texten längst ner till höger, ett visst typsnitt, färger och stilar. Dessa sparas nu alla i .gemini- eller .claude-filer i en serie överlappande kataloger. Den ursprungliga enkelheten hos stora språkmodeller har ersatts av produktionskomplexitet i företagsklass. Detta är inte identiskt med den tidigare generationen av maskininlärningssystem, men det följer en tydlig parallell. Det som såg ut att vara en enkel "AI-magisk låda" visar sig vara ett isberg, med det mesta av ingenjörsarbetet gömt under ytan.