Cette petite boîte noire au milieu est du code d'apprentissage automatique. Je me souviens avoir lu le document de Google de 2015 sur la dette technique cachée dans l'apprentissage automatique et avoir pensé à quel point peu d'une application d'apprentissage automatique était réellement de l'apprentissage automatique. La grande majorité était de l'infrastructure, de la gestion des données et de la complexité opérationnelle. Avec l'aube de l'IA, il semblait que les grands modèles de langage allaient englober ces boîtes. La promesse était la simplicité : intégrer un LLM et le voir gérer tout, du service client à la génération de code. Plus de pipelines complexes ou d'intégrations fragiles. Mais en construisant des applications internes, nous avons observé une dynamique similaire avec l'IA. Les agents ont besoin de beaucoup de contexte, comme un humain : comment le CRM est structuré, que devons-nous entrer dans chaque champ - mais l'entrée est coûteuse pour le modèle AI Affamé, Affamé. Réduire les coûts signifie écrire des logiciels déterministes pour remplacer le raisonnement de l'IA. Par exemple, automatiser la gestion des e-mails signifie écrire des outils pour créer des tâches Asana et mettre à jour le CRM. À mesure que le nombre d'outils augmente au-delà de dix ou quinze outils, l'appel d'outils ne fonctionne plus. Il est temps de mettre en place un modèle d'apprentissage automatique classique pour sélectionner les outils. Ensuite, il y a l'observation du système, l'évaluation de sa performance et le routage vers le bon modèle. De plus, il existe toute une catégorie de logiciels pour s'assurer que l'IA fait ce qu'elle est censée faire. Des garde-fous empêchent les réponses inappropriées. La limitation de débit empêche les coûts de s'emballer lorsque le système devient fou. La récupération d'informations (RAG - génération augmentée par récupération) est essentielle pour tout système de production. Dans mon application de messagerie, j'utilise une base de données vectorielle LanceDB pour trouver tous les e-mails d'un expéditeur particulier et faire correspondre leur ton. Il existe d'autres techniques de gestion des connaissances autour de RAG graphique et de bases de données vectorielles spécialisées. Plus récemment, la mémoire est devenue beaucoup plus importante. Les interfaces de ligne de commande pour les outils d'IA enregistrent l'historique des conversations sous forme de fichiers markdown. Lorsque je publie des graphiques, je veux que la légende de Theory Ventures soit en bas à droite, une police particulière, des couleurs et des styles. Ceux-ci sont maintenant tous enregistrés dans des fichiers .gemini ou .claude dans une série de répertoires en cascade. La simplicité originale des grands modèles de langage a été engloutie par la complexité de production de niveau entreprise. Ce n'est pas identique à la génération précédente de systèmes d'apprentissage automatique, mais cela suit un parallèle clair. Ce qui semblait être une simple "boîte magique d'IA" s'avère être un iceberg, avec la plupart du travail d'ingénierie caché sous la surface.