for underholdningen din :)

Legger til en fin måte å visualisere PPO-målet til rlhf-boken. Kjernen for policy-gradient er L~ R*A (R=policy-forhold, A = fordel). Gjør gode handlinger mer sannsynlige opp til et punkt. Gjør dårlige handlinger mindre sannsynlige opp til et punkt. Min(...), og tegnet på adv bestemmer hvilken linje.

Hva er den neste veggen folk hevder for AI? Først gikk vi tom for data, så ville ikke RL generalisere utenfor matematikk/kode, hva er det neste? Bare ekte vegg ser ut til å være databehandlingstilgjengelighet.

Jeg føler det samme, men grensen jeg presser blir delt med alle, ikke bare noen få store teknologiselskaper.

Poenget med dette er å unngå psyops for ikke å ta bort fra en åpenbar, stor teknisk prestasjon, kom igjen fam jeg er ikke en AI-hater så mange hatere i svarene

Mange mennesker jeg har chattet med er ikke så bekymret for hva Grok gjør fordi de vet at Grok-modellene alltid blir glemt et par uker etter utgivelsen 🪦 💀

Ikke å falle for OpenAIs hype-vage innlegg om den nye IMO-gullmodellen med «generell RL» og alt annet «gjennombrudd». Google fikk også IMO-gull (vanskeligere enn å mestre AIME), men husk at enkle ideer skalerer best.

Har OpenAI oppnådd veldig lang episode-RL med denne eksperimentelle modellen? Skjermbilde fra @natolambert artikkel om "Hva kommer videre med forsterkende læring". Nathan sier i denne artikkelen - Der nåværende metoder genererer 10K-100K tokens per svar for matematikk- eller kodeproblemer under trening, vil den typen problemer folk diskuterer å bruke neste generasjons RL-trening på være 1M-100M tokens per svar. Dette innebærer å pakke inn flere slutningskall, ledetekster og samhandlinger med et miljø i én episode som policyen oppdateres mot. Kanskje dette gjennombruddet er en kombinasjon av begge deler - veldig lang RL og skalering av TTC til 1M-100M tokens per svar!

Er det "ille" at alle destillerer fra/trener på kinesiske modeller? Selv om det ikke er direkte dårlig, er det en stor myk kraftkomponent. Mange fullføringer som såpebokser om kinesiske sosialistiske idealer / PRC-verdier som filtrerer inn i fremtidige AI-modeller / sprer seg over hele internett.

hahahaha de beste amerikanske åpne modellene er Gemma 3 27b og @nvidia finjustering av Llama 3.1