Essa pequena caixa preta no meio é o código de aprendizado de máquina. Lembro-me de ler o artigo Hidden Technical Debt in ML do Google de 2015 e pensar em quão pouco de um aplicativo de aprendizado de máquina era aprendizado de máquina real. A grande maioria era infraestrutura, gerenciamento de dados e complexidade operacional. Com o surgimento da IA, parecia que grandes modelos de linguagem incluiriam essas caixas. A promessa era simplicidade: coloque um LLM e veja-o lidar com tudo, desde o atendimento ao cliente até a geração de código. Chega de pipelines complexos ou integrações frágeis. Mas, na construção de aplicativos internos, observamos uma dinâmica semelhante com a IA. Os agentes precisam de muito contexto, como um humano: como o CRM é estruturado, o que inserimos em cada campo - mas a entrada é cara no modelo de IA Hungry, Hungry. Reduzir custos significa escrever software determinístico para substituir o raciocínio da IA. Por exemplo, automatizar o gerenciamento de e-mail significa escrever ferramentas para criar tarefas da Asana e atualizar o CRM. À medida que o número de ferramentas aumenta além de dez ou quinze ferramentas, a chamada de ferramentas não funciona mais. É hora de criar um modelo clássico de aprendizado de máquina para selecionar ferramentas. Depois, há observar o sistema com observabilidade, avaliar se ele é eficiente e rotear para o modelo certo. Além disso, há toda uma categoria de software para garantir que a IA faça o que deveria. As proteções evitam respostas inadequadas. A limitação de taxa impede que os custos saiam do controle quando um sistema fica descontrolado. A recuperação de informações (RAG - geração aumentada de recuperação) é essencial para qualquer sistema de produção. No meu aplicativo de e-mail, uso um banco de dados vetorial do LanceDB para encontrar todos os e-mails de um remetente específico e corresponder ao seu tom. Existem outras técnicas para o gerenciamento do conhecimento em torno de grafos RAG e bancos de dados vetoriais especializados. Mais recentemente, a memória tornou-se muito mais importante. As interfaces de linha de comando para ferramentas de IA salvam o histórico de conversas como arquivos markdown. Quando publico gráficos, quero a legenda da Theory Ventures no canto inferior direito, uma fonte, cores e estilos específicos. Eles agora são salvos em arquivos .gemini ou .claude em uma série de diretórios em cascata. A simplicidade original de grandes modelos de linguagem foi subsumida pela complexidade de produção de nível empresarial. Isso não é idêntico à geração anterior de sistemas de aprendizado de máquina, mas segue um paralelo claro. O que parecia ser uma simples "caixa mágica de IA" acaba sendo um iceberg, com a maior parte do trabalho de engenharia escondido sob a superfície.