Den lille svarte boksen i midten er maskinlæringskode. Jeg husker at jeg leste Googles 2015 Hidden Technical Debt in ML-artikkel og tenkte på hvor lite av en maskinlæringsapplikasjon som var faktisk maskinlæring. Det store flertallet var infrastruktur, datahåndtering og operasjonell kompleksitet. Med begynnelsen av AI så det ut til at store språkmodeller ville subsumere disse boksene. Løftet var enkelhet: slipp inn en LLM og se den håndtere alt fra kundeservice til kodegenerering. Ingen flere komplekse pipeliner eller sprø integrasjoner. Men når vi bygger interne applikasjoner, har vi observert en lignende dynamikk med AI. Agenter trenger mye kontekst, som et menneske : hvordan er CRM strukturert, hva legger vi inn i hvert felt - men input er dyrt Hungry, Hungry AI-modellen. Å redusere kostnadene betyr å skrive deterministisk programvare for å erstatte resonnementet til AI. For eksempel betyr automatisering av e-postadministrasjon å skrive verktøy for å lage Asana-oppgaver og oppdatere CRM. Etter hvert som antallet verktøy øker utover ti eller femten verktøy, fungerer ikke verktøykall lenger. På tide å spinne opp en klassisk maskinlæringsmodell for å velge verktøy. Så er det å se på systemet med observerbarhet, evaluere om det er effektivt og rute til riktig modell. I tillegg er det en hel kategori programvare rundt å sørge for at AI gjør det den skal. Rekkverk forhindrer upassende respons. Hastighetsbegrensning hindrer kostnadene i å komme ut av kontroll når et system går galt. Informasjonsinnhenting (RAG - retrieval augmented generation) er avgjørende for ethvert produksjonssystem. I e-postappen min bruker jeg en LanceDB-vektordatabase for å finne alle e-poster fra en bestemt avsender og matche tonen deres. Det finnes andre teknikker for kunnskapsstyring rundt graf-RAG og spesialiserte vektordatabaser. I det siste har hukommelse blitt mye viktigere. Kommandolinjegrensesnittene for AI-verktøy lagrer samtaleloggen som markdown-filer. Når jeg publiserer diagrammer, vil jeg ha Theory Ventures-bildeteksten nederst til høyre, en bestemt skrifttype, farger og stiler. Disse er nå alle lagret i .gemini- eller .claude-filer i en rekke overlappende kataloger. Den opprinnelige enkelheten til store språkmodeller har blitt subsumert av produksjonskompleksitet på bedriftsnivå. Dette er ikke identisk med forrige generasjon maskinlæringssystemer, men det følger en klar parallell. Det som så ut til å være en enkel "AI-magisk boks" viser seg å være et isfjell, med det meste av ingeniørarbeidet skjult under overflaten.