Onestamente, la maggior parte degli sviluppatori di intelligenza artificiale è ancora bloccata nel secolo scorso. Mi stupisce quanti pochi siano a conoscenza dell'Analisi degli Errori. Questo è *letteralmente* il modo più veloce ed efficace per valutare le applicazioni di intelligenza artificiale, e la maggior parte dei team è ancora impegnata a inseguire fantasmi. Per favore, smettete di tracciare metriche generiche e seguite questi passaggi: 1. Raccogliete campioni di fallimento Iniziate a rivedere le risposte generate dalla vostra applicazione. Prendete appunti su ogni risposta, specialmente quelle che sono state errori. Non è necessario formattare i vostri appunti in alcun modo specifico. Concentratevi nel descrivere cosa è andato storto con la risposta. 2. Categorizzate i vostri appunti Dopo aver esaminato un buon numero di risposte, prendete un LLM e chiedetegli di trovare schemi comuni nei vostri appunti. Chiedetegli di classificare ogni appunto in base a questi schemi. Finirete con categorie che coprono ogni tipo di errore commesso dalla vostra applicazione. 3. Diagnosticate gli errori più frequenti Iniziate concentrandovi sul tipo di errore più comune. Non volete perdere tempo a lavorare su errori rari. Analizzate le conversazioni, gli input e i log che portano a quei campioni errati. Cercate di capire cosa potrebbe causare i problemi. 4. Progettate correzioni mirate A questo punto, volete determinare come eliminare gli errori diagnosticati nel passaggio precedente il più rapidamente e a minor costo possibile. Ad esempio, potreste modificare i vostri prompt, aggiungere regole di validazione extra, trovare più dati di addestramento o modificare il modello. 5. Automatizzate il processo di valutazione Dovete implementare un processo semplice per rieseguire un set di valutazione attraverso la vostra applicazione e valutare se le vostre correzioni sono state efficaci. La mia raccomandazione è di utilizzare un LLM come Giudice per eseguire campioni attraverso l'applicazione, classificarli con un tag PASS/FAIL e calcolare i risultati. 6. Tenete d'occhio le vostre metriche Ogni categoria che avete identificato durante l'analisi degli errori è una metrica che volete monitorare nel tempo. Non arriverete da nessuna parte ossessionandovi su "rilevanza", "correttezza", "completezza", "coerenza" e qualsiasi altra metrica standard. Dimenticate queste e concentratevi sui veri problemi che avete trovato.