Thật lòng mà nói, hầu hết các nhà phát triển AI vẫn đang mắc kẹt trong thế kỷ trước. Thật không thể tin nổi là có rất ít người nhận thức được Phân tích Lỗi. Đây *thực sự* là cách nhanh nhất và hiệu quả nhất để đánh giá các ứng dụng AI, và hầu hết các đội ngũ vẫn đang mắc kẹt trong việc theo đuổi những điều vô hình. Xin hãy ngừng theo dõi các chỉ số chung và làm theo các bước sau: 1. Thu thập mẫu lỗi Bắt đầu xem xét các phản hồi được tạo ra bởi ứng dụng của bạn. Ghi chú về từng phản hồi, đặc biệt là những phản hồi sai. Bạn không cần phải định dạng ghi chú của mình theo cách cụ thể nào. Tập trung vào việc mô tả những gì đã sai với phản hồi. 2. Phân loại ghi chú của bạn Sau khi bạn đã xem xét một bộ phản hồi tốt, hãy lấy một LLM và yêu cầu nó tìm các mẫu chung trong ghi chú của bạn. Hãy yêu cầu nó phân loại từng ghi chú dựa trên những mẫu này. Bạn sẽ có được các danh mục bao phủ mọi loại lỗi mà ứng dụng của bạn đã mắc phải. 3. Chẩn đoán những lỗi thường gặp nhất Bắt đầu bằng cách tập trung vào loại lỗi phổ biến nhất. Bạn không muốn lãng phí thời gian làm việc với những lỗi hiếm gặp. Đi sâu vào các cuộc trò chuyện, đầu vào và nhật ký dẫn đến những mẫu sai đó. Cố gắng hiểu điều gì có thể gây ra các vấn đề. 4. Thiết kế các biện pháp khắc phục mục tiêu Tại thời điểm này, bạn muốn xác định cách loại bỏ những lỗi mà bạn đã chẩn đoán ở bước trước một cách nhanh chóng và tiết kiệm nhất có thể. Ví dụ, bạn có thể điều chỉnh các gợi ý của mình, thêm các quy tắc xác thực bổ sung, tìm thêm dữ liệu đào tạo hoặc sửa đổi mô hình. 5. Tự động hóa quy trình đánh giá Bạn cần triển khai một quy trình đơn giản để chạy lại một bộ đánh giá qua ứng dụng của bạn và đánh giá xem các biện pháp khắc phục của bạn có hiệu quả hay không. Khuyến nghị của tôi là sử dụng LLM như một Người Đánh Giá để chạy các mẫu qua ứng dụng, chấm điểm chúng với thẻ PASS/FAIL và tính toán kết quả. 6. Theo dõi các chỉ số của bạn Mỗi danh mục bạn đã xác định trong quá trình phân tích lỗi là một chỉ số bạn muốn theo dõi theo thời gian. Bạn sẽ không đi đến đâu nếu cứ ám ảnh về "tính liên quan", "độ chính xác", "độ hoàn chỉnh", "tính mạch lạc", và bất kỳ chỉ số nào khác ngoài lề. Quên đi những điều này và tập trung vào những vấn đề thực sự mà bạn đã tìm thấy.