Questo è esattamente il motivo per cui i pipeline con l'intervento umano sono necessari per il futuro prevedibile, poiché la complessità dei compiti e l'orizzonte aumentano, i tassi di successo diminuiscono significativamente. Avrai bisogno di umani per ancorare costantemente il processo al fine di mantenere i tassi di successo. I principali problemi con gli approcci HITL sono: 1. i LLMs finemente sintonizzati sono diventati così bravi che è difficile per gli umani valutare se i risultati soddisfano effettivamente i requisiti oggettivi, perché è stato fatto molto lavoro per farli 'sembrare buoni'. 2. sapere quando un umano dovrebbe intervenire o quando l'agente/modello dovrebbe trasferire il compito/evaluazione. La rilevazione delle allucinazioni è un argomento davvero complesso.
Benjamin Todd
Benjamin Todd16 giu 2025
Perché le IA possono programmare per 1 ora ma non per 10 ore? Una spiegazione semplice: se c'è una probabilità del 10% di errore ogni 10 minuti (per dire), il tasso di successo è: 1h: 53% 4h: 8% 10h: 0,002% @tobyordoxford ha testato questa teoria del 'tasso di errore costante' e ha dimostrato che si adatta bene ai dati la probabilità di successo diminuisce esponenzialmente
1,28K