Esa pequeña caja negra en el medio es código de aprendizaje automático. Recuerdo haber leído el artículo de Google de 2015 sobre la Deuda Técnica Oculta en ML y pensar en cuán poco de una aplicación de aprendizaje automático era realmente aprendizaje automático. La gran mayoría era infraestructura, gestión de datos y complejidad operativa. Con el advenimiento de la IA, parecía que los modelos de lenguaje grandes absorberían estas cajas. La promesa era simplicidad: introduce un LLM y observa cómo maneja todo, desde el servicio al cliente hasta la generación de código. No más tuberías complejas o integraciones frágiles. Pero al construir aplicaciones internas, hemos observado una dinámica similar con la IA. Los agentes necesitan mucho contexto, como un humano: ¿cómo está estructurado el CRM, qué ingresamos en cada campo? - pero la entrada es costosa para el modelo Hambriento, Hambriento de IA. Reducir costos significa escribir software determinista para reemplazar el razonamiento de la IA. Por ejemplo, automatizar la gestión de correos electrónicos significa escribir herramientas para crear tareas en Asana y actualizar el CRM. A medida que el número de herramientas aumenta más allá de diez o quince, la llamada a herramientas ya no funciona. Es hora de implementar un modelo de aprendizaje automático clásico para seleccionar herramientas. Luego está la observación del sistema, evaluando si es eficiente y dirigiendo al modelo correcto. Además, hay toda una categoría de software para asegurarse de que la IA haga lo que se supone que debe hacer. Las barandillas evitan respuestas inapropiadas. La limitación de tasa detiene los costos de dispararse fuera de control cuando un sistema se vuelve loco. La recuperación de información (RAG - generación aumentada por recuperación) es esencial para cualquier sistema de producción. En mi aplicación de correo electrónico, utilizo una base de datos vectorial LanceDB para encontrar todos los correos electrónicos de un remitente particular y hacer coincidir su tono. Hay otras técnicas para la gestión del conocimiento en torno a RAG gráfico y bases de datos vectoriales especializadas. Más recientemente, la memoria se ha vuelto mucho más importante. Las interfaces de línea de comandos para herramientas de IA guardan el historial de conversaciones como archivos markdown. Cuando publico gráficos, quiero que la leyenda de Theory Ventures esté en la esquina inferior derecha, una fuente particular, colores y estilos. Ahora, todo eso se guarda dentro de archivos .gemini o .claude en una serie de directorios en cascada. La simplicidad original de los modelos de lenguaje grandes ha sido absorbida por la complejidad de producción de nivel empresarial. Esto no es idéntico a la generación anterior de sistemas de aprendizaje automático, pero sigue un claro paralelo. Lo que parecía ser una simple "caja mágica de IA" resulta ser un iceberg, con la mayor parte del trabajo de ingeniería oculto bajo la superficie.