Dette er nettopp grunnen til at menneske-i-sløyfe-rørledninger er nødvendige i overskuelig fremtid, ettersom oppgavekompleksiteten og horisonten går opp, faller suksessraten betydelig. Du trenger mennesker til å konsekvent forankre prosessen for å opprettholde suksessraten. Hovedproblemene med HITL-tilnærminger er: 1. Finjusterte LLM-er har blitt så gode til et punkt hvor det er vanskelig for mennesker å vurdere om resultatene faktisk oppfyller objektive krav fordi mye arbeid har gått med til å få det til å "se bra ut". 2. Å vite når et menneske skal gripe inn eller når agenten/modellen skal overlevere oppgaven/evalueringen. Hallusinasjonsdeteksjon er et helvetes tema
Benjamin Todd
Benjamin Todd16. juni 2025
Hvorfor kan AI-er kode for 1 time, men ikke 10 timer? En enkel forklaring: hvis det er 10 % sjanse for feil per 10 minutters trinn (si), er suksessraten: 1t: 53% 4t: 8% 10t: 0,002% @tobyordoxford har testet denne teorien om "konstant feilrate" og vist at den passer godt for dataene sjansen for å lykkes avtar eksponentielt
1,3K