老實說，大多數的 AI 開發者仍然停留在上個世紀。 我真的很驚訝有多少人對錯誤分析毫無所知。 這*實際上*是評估 AI 應用程序最快且最有效的方法，而大多數團隊仍然在追逐幽靈。 請停止追蹤一般性指標，並遵循以下步驟： 1. 收集失敗樣本 開始審查您的應用程序生成的回應。對每個回應寫下筆記，特別是那些錯誤的回應。您不需要以任何特定方式格式化您的筆記。專注於描述回應中出現的問題。 2. 將您的筆記分類 在您審查了一組良好的回應後，使用 LLM 來尋找您筆記中的共同模式。請它根據這些模式對每個筆記進行分類。 您將最終得到涵蓋應用程序所犯每種類型錯誤的類別。 3. 診斷最常見的錯誤 首先專注於最常見的錯誤類型。您不想浪費時間處理罕見的錯誤。 深入分析導致這些不正確樣本的對話、輸入和日誌。試著理解可能造成問題的原因。 4. 設計針對性的修正 在這個階段，您想要確定如何以最快和最便宜的方式消除您在前一步中診斷出的錯誤。 例如，您可以調整提示，添加額外的驗證規則，尋找更多的訓練數據，或修改模型。 5. 自動化評估過程 您需要實施一個簡單的過程，通過您的應用程序重新運行評估集，並評估您的修正是否有效。 我的建議是使用 LLM 作為評判者，通過應用程序運行樣本，給它們打上通過/不通過的標籤，並計算結果。 6. 監控您的指標 您在錯誤分析中識別的每個類別都是您想要隨時間跟蹤的指標。 過度關注 "相關性"、"正確性"、"完整性"、"一致性" 以及任何其他現成的指標是沒有意義的。忘掉這些，專注於您發現的真正問題。