بصراحة ، لا يزال معظم مطوري الذكاء الاصطناعي عالقين في القرن الماضي. إنه لأمر يذهلني كيف قلة من الناس على دراية بتحليل الخطأ. هذه هي الطريقة الأسرع والأكثر فعالية لتقييم تطبيقات الذكاء الاصطناعي ، ولا تزال معظم الفرق عالقة في مطاردة الأشباح. من فضلك ، توقف عن تتبع المقاييس العامة واتبع الخطوات التالية: 1. جمع عينات الفشل ابدأ في مراجعة الردود التي تم إنشاؤها بواسطة التطبيق الخاص بك. اكتب ملاحظات حول كل إجابة ، خاصة تلك التي كانت أخطاء. لا تحتاج إلى تنسيق ملاحظاتك بأي طريقة محددة. ركز على وصف الخطأ الذي حدث في الاستجابة. 2. تصنيف ملاحظاتك بعد مراجعة مجموعة جيدة من الردود ، خذ ماجستير في القانون واطلب منه العثور على أنماط مشتركة في ملاحظاتك. اطلب منه تصنيف كل ملاحظة بناء على هذه الأنماط. سينتهي بك الأمر بفئات تغطي كل نوع من أنواع الأخطاء التي ارتكبها تطبيقك. 3. تشخيص الأخطاء الأكثر شيوعا ابدأ بالتركيز على أكثر أنواع الأخطاء شيوعا. أنت لا تريد إضاعة الوقت في العمل مع أخطاء نادرة. تعمق في المحادثات والمدخلات والسجلات التي تؤدي إلى تلك العينات غير الصحيحة. حاول أن تفهم ما الذي قد يسبب المشاكل. 4. تصميم الإصلاحات المستهدفة في هذه المرحلة ، تريد تحديد كيفية التخلص من الأخطاء التي شخصتها في الخطوة السابقة بأسرع ما يمكن وبتكلفة زهيدة. على سبيل المثال، يمكنك تعديل المطالبات أو إضافة قواعد تحقق إضافية أو العثور على المزيد من بيانات التدريب أو تعديل النموذج. 5. أتمتة عملية التقييم تحتاج إلى تنفيذ عملية بسيطة لإعادة تشغيل مجموعة تقييم من خلال التطبيق الخاص بك وتقييم ما إذا كانت الإصلاحات فعالة أم لا. توصيتي هي استخدام LLM-as-a-Judge لتشغيل العينات من خلال التطبيق ، وتسجيلها بعلامة PASS / FAIL ، وحساب النتائج. 6. راقب المقاييس الخاصة بك كل فئة حددتها أثناء تحليل الأخطاء هي مقياس تريد تتبعه بمرور الوقت. لن تصل إلى أي مكان من خلال الهوس ب "الملاءمة" و "الصحة" و "الاكتمال" و "التماسك" وأي مقاييس أخرى خارج الصندوق. انس الأمر وركز على المشكلات الحقيقية التي وجدتها.