Nuovo post sul blog riguardo l'asimmetria della verifica e la "legge del verificatore": L'asimmetria della verifica – l'idea che alcuni compiti siano molto più facili da verificare che da risolvere – sta diventando un concetto importante ora che abbiamo l'RL che finalmente funziona in generale. Esempi eccellenti di asimmetria della verifica sono cose come i puzzle sudoku, scrivere il codice per un sito web come Instagram e i problemi di BrowseComp (ci vogliono ~100 siti web per trovare la risposta, ma è facile verificare una volta che hai la risposta). Altri compiti hanno una quasi simmetria della verifica, come sommare due numeri di 900 cifre o alcuni script di elaborazione dati. Altri compiti sono molto più facili da proporre soluzioni fattibili che da verificarle (ad esempio, controllare i fatti di un lungo saggio o dichiarare una nuova dieta come "mangiare solo bisonte"). Una cosa importante da capire riguardo l'asimmetria della verifica è che puoi migliorare l'asimmetria facendo un po' di lavoro in anticipo. Ad esempio, se hai la chiave delle risposte a un problema di matematica o se hai casi di test per un problema di Leetcode. Questo aumenta notevolmente l'insieme di problemi con un'asimmetria di verifica desiderabile. La "legge del verificatore" afferma che la facilità di addestrare l'IA a risolvere un compito è proporzionale a quanto il compito sia verificabile. Tutti i compiti che sono possibili da risolvere e facili da verificare saranno risolti dall'IA. La capacità di addestrare l'IA a risolvere un compito è proporzionale al fatto che il compito abbia le seguenti proprietà: 1. Verità oggettiva: tutti concordano su quali siano buone soluzioni 2. Veloce da verificare: qualsiasi soluzione data può essere verificata in pochi secondi 3. Scalabile da verificare: molte soluzioni possono essere verificate simultaneamente 4. Basso rumore: la verifica è il più possibile correlata alla qualità della soluzione 5. Ricompensa continua: è facile classificare la bontà di molte soluzioni per un singolo problema Una manifestazione ovvia della legge del verificatore è il fatto che la maggior parte dei benchmark proposti nell'IA sono facili da verificare e finora sono stati risolti. Nota che praticamente tutti i benchmark popolari negli ultimi dieci anni soddisfano i criteri #1-4; i benchmark che non soddisfano i criteri #1-4 avrebbero difficoltà a diventare popolari. Perché la verificabilità è così importante? La quantità di apprendimento nell'IA che si verifica è massimizzata quando i criteri sopra sono soddisfatti; puoi fare molti passi di gradiente dove ogni passo ha molto segnale. La velocità di iterazione è critica: è il motivo per cui i progressi nel mondo digitale sono stati molto più rapidi rispetto ai progressi nel mondo fisico. AlphaEvolve di Google è uno dei più grandi esempi di sfruttamento dell'asimmetria della verifica. Si concentra su configurazioni che soddisfano tutti i criteri sopra e ha portato a una serie di progressi in matematica e in altri campi. Diverso da ciò che abbiamo fatto nell'IA negli ultimi due decenni, è un nuovo paradigma in cui tutti i problemi sono ottimizzati in un contesto in cui il set di addestramento è equivalente al set di test. L'asimmetria della verifica è ovunque ed è emozionante considerare un mondo di intelligenza frastagliata in cui tutto ciò che possiamo misurare sarà risolto.