Acea mică cutie neagră din mijloc este codul de învățare automată. Îmi amintesc că am citit lucrarea Google din 2015 Hidden Technical Debt in ML și m-am gândit cât de puțin este o aplicație de învățare automată reală. Marea majoritate a fost infrastructura, managementul datelor și complexitatea operațională. Odată cu apariția AI, se părea că modelele lingvistice mari vor subsuma aceste cutii. Promisiunea a fost simplitatea: aruncați un LLM și urmăriți-l cum se ocupă de toate, de la serviciul pentru clienți la generarea de cod. Gata cu conductele complexe sau integrările fragile. Dar în construirea aplicațiilor interne, am observat o dinamică similară cu AI. Agenții au nevoie de mult context, ca un om: cum este structurat CRM-ul, ce introducem în fiecare domeniu - dar intrarea este costisitoare în modelul Hungry, Hungry AI. Reducerea costurilor înseamnă scrierea de software determinist pentru a înlocui raționamentul AI. De exemplu, automatizarea gestionării e-mailurilor înseamnă scrierea de instrumente pentru a crea sarcini Asana și a actualiza CRM-ul. Pe măsură ce numărul de unelte crește peste zece sau cincisprezece unelte, apelarea uneltelor nu mai funcționează. Este timpul să creăm un model clasic de învățare automată pentru a selecta instrumentele. Apoi este urmărirea sistemului cu observabilitate, evaluarea dacă este performant și direcționarea către modelul potrivit. În plus, există o întreagă categorie de software care se asigură că AI face ceea ce ar trebui să facă. Balustradele previn răspunsurile inadecvate. Limitarea ratei împiedică costurile să scape de sub control atunci când un sistem o ia razna. Recuperarea informațiilor (RAG - retrieval augmented generation) este esențială pentru orice sistem de producție. În aplicația mea de e-mail, folosesc o bază de date vectorială LanceDB pentru a găsi toate e-mailurile de la un anumit expeditor și pentru a potrivi tonul lor. Există și alte tehnici de gestionare a cunoștințelor în jurul RAG grafic și baze de date vectoriale specializate. Mai recent, memoria a devenit mult mai importantă. Interfețele de linie de comandă pentru instrumentele AI salvează istoricul conversațiilor ca fișiere markdown. Când public diagrame, vreau legenda Theory Ventures în dreapta jos, un anumit font, culori și stiluri. Toate acestea sunt acum salvate în fișiere .gemini sau .claude într-o serie de directoare în cascadă. Simplitatea originală a modelelor lingvistice mari a fost subsumată de complexitatea producției la nivel de întreprindere. Acest lucru nu este identic cu generația anterioară de sisteme de învățare automată, dar urmează o paralelă clară. Ceea ce părea a fi o simplă "cutie magică AI" se dovedește a fi un aisberg, cu cea mai mare parte a muncii de inginerie ascunsă sub suprafață.