中间那个小黑盒子是机器学习代码。 我记得读过谷歌2015年的《机器学习中的隐性技术债务》论文，想着机器学习应用中实际的机器学习有多少。 绝大多数是基础设施、数据管理和操作复杂性。 随着人工智能的兴起，似乎大型语言模型会取代这些盒子。承诺是简单：放入一个LLM，看看它如何处理从客户服务到代码生成的一切。不再需要复杂的管道或脆弱的集成。 但在构建内部应用时，我们观察到了与人工智能类似的动态。 代理需要大量上下文，就像人类一样：CRM是如何结构化的，我们在每个字段中输入什么——但输入是昂贵的，饥饿的人工智能模型。 降低成本意味着编写确定性软件来替代人工智能的推理。 例如，自动化电子邮件管理意味着编写工具来创建Asana任务并更新CRM。 随着工具数量超过十个或十五个，工具调用不再有效。是时候启动一个经典的机器学习模型来选择工具了。 然后是观察系统的可观察性，评估其性能，并路由到正确的模型。此外，还有一整类软件确保人工智能按预期工作。 护栏防止不当响应。速率限制防止系统失控时成本失控。 信息检索（RAG - 检索增强生成）对任何生产系统都是至关重要的。在我的电子邮件应用中，我使用LanceDB向量数据库查找来自特定发件人的所有电子邮件并匹配他们的语气。 还有其他关于图形RAG和专用向量数据库的知识管理技术。 最近，记忆变得更加重要。人工智能工具的命令行界面将对话历史保存为markdown文件。 当我发布图表时，我希望右下角有Theory Ventures的标题，特定的字体、颜色和样式。这些现在都保存在一系列级联目录中的.gemini或.claude文件中。 大型语言模型的原始简单性已被企业级生产复杂性所取代。 这与上一代机器学习系统并不完全相同，但它遵循了一个明确的平行关系。看似简单的“人工智能魔法盒”实际上是一座冰山，大部分工程工作隐藏在表面之下。