Ærlig talt, de fleste AI-utviklere sitter fortsatt fast i forrige århundre. Det forbløffer meg hvor få mennesker som er klar over feilanalyse. Dette er *bokstavelig talt* den raskeste og mest effektive måten å evaluere AI-applikasjoner på, og de fleste lag sitter fortsatt fast og jager spøkelser. Slutt å spore generiske beregninger og følg disse trinnene: 1. Samle feilprøver Begynn å gjennomgå svarene som genereres av søknaden din. Skriv notater om hvert svar, spesielt de som var feil. Du trenger ikke å formatere notatene dine på noen bestemt måte. Fokuser på å beskrive hva som gikk galt med responsen. 2. Kategoriser notatene dine Etter at du har gjennomgått et godt sett med svar, ta en LLM og be den om å finne vanlige mønstre i notatene dine. Be den klassifisere hver tone basert på disse mønstrene. Du vil ende opp med kategorier som dekker alle typer feil søknaden din har gjort. 3. Diagnostiser de vanligste feilene Begynn med å fokusere på den vanligste typen feil. Du vil ikke kaste bort tid på å jobbe med sjeldne feil. Drill ned i samtalene, inndataene og loggene som fører til de feilaktige eksemplene. Prøv å forstå hva som kan forårsake problemene. 4. Design målrettede rettelser På dette tidspunktet vil du finne ut hvordan du kan eliminere feilene du diagnostiserte i forrige trinn så raskt og billig som mulig. Du kan for eksempel justere ledetekstene, legge til ekstra valideringsregler, finne flere opplæringsdata eller endre modellen. 5. Automatiser evalueringsprosessen Du må implementere en enkel prosess for å kjøre et evalueringssett på nytt gjennom applikasjonen din og evaluere om rettelsene dine var effektive. Min anbefaling er å bruke en LLM-as-a-Judge til å kjøre prøver gjennom applikasjonen, score dem med en PASS/FAIL-kode og beregne resultatene. 6. Hold øye med beregningene dine Hver kategori du identifiserte under feilanalysen er en beregning du ønsker å spore over tid. Du kommer ingen vei ved å være besatt av «relevans», «korrekthet», «fullstendighet», «sammenheng» og andre ut-av-boksen-beregninger. Glem disse og fokuser på de virkelige problemene du fant.