中間那個小黑盒子是機器學習代碼。 我記得讀過谷歌2015年的《機器學習中的隱藏技術負債》論文，並思考過有多少機器學習應用實際上是機器學習。 絕大多數是基礎設施、數據管理和操作複雜性。 隨著人工智慧的興起，似乎大型語言模型將會取代這些盒子。承諾是簡單：放入一個LLM，然後看它處理從客戶服務到代碼生成的一切。不再需要複雜的管道或脆弱的整合。 但在構建內部應用時，我們觀察到AI也有類似的動態。 代理需要大量的上下文，就像人類一樣：CRM是如何結構的，我們在每個字段中輸入什麼——但輸入是昂貴的，這個貪婪的AI模型。 降低成本意味著編寫確定性軟件來取代AI的推理。 例如，自動化電子郵件管理意味著編寫工具來創建Asana任務並更新CRM。 隨著工具數量超過十個或十五個，工具調用不再有效。是時候啟動一個傳統的機器學習模型來選擇工具了。 然後還有觀察系統的可觀察性，評估其性能，並路由到正確的模型。此外，還有一整類軟件用於確保AI按預期運行。 護欄防止不當回應。速率限制防止系統失控時成本失控。 信息檢索（RAG - 檢索增強生成）對於任何生產系統都是必不可少的。在我的電子郵件應用中，我使用LanceDB向量數據庫來查找來自特定發件人的所有電子郵件並匹配其語氣。 還有其他針對圖形RAG和專門向量數據庫的知識管理技術。 最近，記憶變得更加重要。AI工具的命令行界面將對話歷史保存為markdown文件。 當我發布圖表時，我希望右下角有Theory Ventures的標題，特定的字體、顏色和樣式。這些現在都保存在一系列層疊目錄中的.gemini或.claude文件內。 大型語言模型的原始簡單性已被企業級生產複雜性所取代。 這與前一代機器學習系統並不完全相同，但它遵循明確的平行關係。看似簡單的“AI魔法盒”實際上是一座冰山，大部分工程工作隱藏在表面之下。