Esa pequeña caja negra en el medio es el código de aprendizaje automático. Recuerdo haber leído el artículo de Google de 2015 sobre la deuda técnica oculta en ML y pensar en lo poco que una aplicación de aprendizaje automático era un aprendizaje automático real. La gran mayoría fue la infraestructura, la gestión de datos y la complejidad operativa. Con los albores de la IA, parecía que los grandes modelos de lenguaje subsumirían estas cajas. La promesa era simple: entrar en un LLM y ver cómo se encarga de todo, desde el servicio al cliente hasta la generación de código. Se acabaron las canalizaciones complejas y las integraciones frágiles. Pero en la creación de aplicaciones internas, hemos observado una dinámica similar con la IA. Los agentes necesitan mucho contexto, como un humano: cómo está estructurado el CRM, qué introducimos en cada campo, pero la entrada es costosa en el modelo de IA Hungry, Hungry. Reducir el costo significa escribir software determinista para reemplazar el razonamiento de la IA. Por ejemplo, automatizar la gestión de correo electrónico significa escribir herramientas para crear tareas de Asana y actualizar el CRM. A medida que el número de herramientas aumenta más allá de diez o quince herramientas, la llamada a la herramienta ya no funciona. Es hora de poner en marcha un modelo clásico de aprendizaje automático para seleccionar herramientas. Luego está la observación del sistema con observabilidad, la evaluación de si es eficiente y el enrutamiento al modelo correcto. Además, hay toda una categoría de software para asegurarse de que la IA haga lo que se supone que debe hacer. Las barandillas evitan respuestas inapropiadas. La limitación de velocidad evita que los costos se salgan de control cuando un sistema se descontrola. La recuperación de información (RAG - retrieval augmented generation) es esencial para cualquier sistema de producción. En mi aplicación de correo electrónico, utilizo una base de datos vectorial LanceDB para encontrar todos los correos electrónicos de un remitente en particular y hacer coincidir su tono. Existen otras técnicas para la gestión del conocimiento en torno a las bases de datos de grafos RAG y vectores especializados. Más recientemente, la memoria se ha vuelto mucho más importante. Las interfaces de línea de comandos para las herramientas de IA guardan el historial de conversaciones como archivos de rebajas. Cuando publico gráficos, quiero el título de Theory Ventures en la parte inferior derecha, una fuente, colores y estilos en particular. Ahora todos ellos se guardan en archivos .gemini o .claude en una serie de directorios en cascada. La simplicidad original de los modelos de lenguaje de gran tamaño ha sido subsumida por la complejidad de la producción de nivel empresarial. Esto no es idéntico a la generación anterior de sistemas de aprendizaje automático, pero sigue un claro paralelismo. Lo que parecía ser una simple "caja mágica de IA" resulta ser un iceberg, con la mayor parte del trabajo de ingeniería oculto bajo la superficie.