📣 We zijn enthousiast om onze praktijkstudie van een LLM klinische co-piloot te delen, een samenwerking tussen @OpenAI en @PendaHealth. Bij 39.849 live patiëntenbezoeken hadden clinici met AI een relatieve vermindering van 16% in diagnostische fouten en een vermindering van 13% in behandelingsfouten vergeleken met degenen zonder. 🧵

Dit is mijn lezing van 2 maanden geleden bij @Cornell "Hoe kan ik mijn output verhogen?" Een natuurlijke antwoord is: "Ik zal gewoon een paar uur langer werken." Langer werken kan helpen, maar uiteindelijk kom je op een fysieke limiet. Een betere vraag is: "Hoe kan ik mijn output verhogen zonder de input zoveel te verhogen?" Dat is hefboomwerking. We horen "hefboomwerking" zo vaak dat de implicatie gemakkelijk over het hoofd wordt gezien. Mijn persoonlijke favoriete categorisatie van hefboomwerking is van Naval Ravikant: menselijke arbeid, kapitaal en code/media. Elk heeft grote golven van vermogenscreatie in de geschiedenis aangedreven. Echter, zodra een hefboombron populair wordt (denk aan YouTube-kanalen vandaag de dag versus tien jaar geleden) comprimeert de concurrentie de marge. Dus wanneer er een nieuwe hefboom verschijnt, is het een zeldzame kans voor buitensporige winsten. In deze lezing beschrijf ik AI als die opkomende hefboom. Een AI-agent mengt arbeidshefboom (het doet werk voor jou en is permissieloos) met codehefboom (je kunt het kopiëren en plakken). Het is cliché om te zeggen dat AI enorme rijkdom zal creëren. Maar door deze hefboomlens te gebruiken, kunnen we de luidruchtige AI-nieuwscyclus op een consistente manier interpreteren en de echte kansen spotten. Bedankt @unsojo voor het hosten van mij!

Nieuwe blogpost over de asymmetrie van verificatie en de "wet van de verifier": Asymmetrie van verificatie – het idee dat sommige taken veel gemakkelijker te verifiëren zijn dan op te lossen – wordt een belangrijk idee nu we RL hebben dat eindelijk algemeen werkt. Geweldige voorbeelden van asymmetrie van verificatie zijn dingen zoals sudoku-puzzels, het schrijven van de code voor een website zoals Instagram, en BrowseComp-problemen (het kost ~100 websites om het antwoord te vinden, maar het is gemakkelijk te verifiëren zodra je het antwoord hebt). Andere taken hebben een bijna-symmetrie van verificatie, zoals het optellen van twee 900-cijferige getallen of sommige dataverwerkingsscripts. Weer andere taken zijn veel gemakkelijker om haalbare oplossingen voor te stellen dan om ze te verifiëren (bijv. het factchecken van een lang essay of het stellen van een nieuw dieet zoals "eet alleen bison"). Een belangrijk punt om te begrijpen over de asymmetrie van verificatie is dat je de asymmetrie kunt verbeteren door van tevoren wat werk te doen. Bijvoorbeeld, als je de antwoordenlijst voor een wiskundeprobleem hebt of als je testgevallen hebt voor een Leetcode-probleem. Dit vergroot de set van problemen met wenselijke verificatie-asymmetrie aanzienlijk. "De wet van de verifier" stelt dat de eenvoud van het trainen van AI om een taak op te lossen evenredig is aan hoe verifieerbaar de taak is. Alle taken die mogelijk zijn om op te lossen en gemakkelijk te verifiëren zijn, zullen door AI worden opgelost. Het vermogen om AI te trainen om een taak op te lossen, is evenredig aan of de taak de volgende eigenschappen heeft: 1. Objectieve waarheid: iedereen is het erover eens wat goede oplossingen zijn 2. Snel te verifiëren: elke gegeven oplossing kan in enkele seconden worden geverifieerd 3. Schaalbaar te verifiëren: veel oplossingen kunnen gelijktijdig worden geverifieerd 4. Weinig ruis: verificatie is zo nauw mogelijk gecorreleerd aan de kwaliteit van de oplossing 5. Continue beloning: het is gemakkelijk om de kwaliteit van veel oplossingen voor een enkel probleem te rangschikken Een voor de hand liggende concretisering van de wet van de verifier is het feit dat de meeste benchmarks die in AI zijn voorgesteld, gemakkelijk te verifiëren zijn en tot nu toe zijn opgelost. Merk op dat vrijwel alle populaire benchmarks in de afgelopen tien jaar voldoen aan de criteria #1-4; benchmarks die niet voldoen aan de criteria #1-4 zouden moeite hebben om populair te worden. Waarom is verifieerbaarheid zo belangrijk? De hoeveelheid leren in AI die plaatsvindt, is gemaximaliseerd wanneer aan de bovenstaande criteria wordt voldaan; je kunt veel gradientstappen nemen waarbij elke stap veel signaal heeft. Snelheid van iteratie is cruciaal – het is de reden dat de vooruitgang in de digitale wereld veel sneller is geweest dan de vooruitgang in de fysieke wereld. AlphaEvolve van Google is een van de grootste voorbeelden van het benutten van asymmetrie van verificatie. Het richt zich op opstellingen die aan alle bovenstaande criteria voldoen en heeft geleid tot een aantal vooruitgangen in de wiskunde en andere gebieden. Anders dan wat we de afgelopen twee decennia in AI hebben gedaan, is het een nieuw paradigma waarin alle problemen worden geoptimaliseerd in een omgeving waar de trainingsset gelijk is aan de testset. Asymmetrie van verificatie is overal en het is spannend om een wereld van gekartelde intelligentie te overwegen waar alles wat we kunnen meten zal worden opgelost.

De longevity mix van Bryan Johnson is de populairste drank op feesten in SF.

rechtstreeks knaller, ik las onmiddellijk

Normale mensen datingadvies: Trou niet vroeg als je elk jaar veel groeit en verandert. AI maat (@YiTayML): Je bent als een neuraal netwerk dat midden in de training zit en het verlies nog steeds verbetert. Het is beter om te trainen tot convergentie in plaats van een vroege checkpoint-snapshot te nemen.

We hebben nog geen AI die zichzelf verbetert, en wanneer we dat wel hebben, zal het een game-changer zijn. Met meer wijsheid nu vergeleken met de dagen van GPT-4, is het duidelijk dat het geen "snelle stijging" zal zijn, maar eerder extreem geleidelijk over vele jaren, waarschijnlijk een decennium. Het eerste wat je moet weten is dat zelfverbetering, d.w.z. modellen die zichzelf trainen, niet binair is. Overweeg het scenario waarin GPT-5 GPT-6 traint, wat ongelooflijk zou zijn. Zou GPT-5 plotseling van niet in staat om GPT-6 te trainen naar het extreem bekwaam trainen van GPT-6 gaan? Zeker niet. De eerste trainingsruns van GPT-6 zouden waarschijnlijk extreem inefficiënt zijn in tijd en rekenkracht vergeleken met menselijke onderzoekers. En pas na veel pogingen zou GPT-5 daadwerkelijk in staat zijn om GPT-6 beter te trainen dan mensen. Ten tweede, zelfs als een model zichzelf zou kunnen trainen, zou het niet plotseling beter worden in alle domeinen. Er is een gradient van moeilijkheid in hoe moeilijk het is om zichzelf te verbeteren in verschillende domeinen. Bijvoorbeeld, misschien werkt zelfverbetering in het begin alleen in domeinen waarvan we al weten hoe we ze gemakkelijk kunnen oplossen na de training, zoals basis hallucinaties of stijl. Vervolgens zou wiskunde en coderen komen, wat meer werk kost maar gevestigde methoden heeft voor het verbeteren van modellen. En dan, aan de extreme kant, kun je je voorstellen dat er enkele taken zijn die erg moeilijk zijn voor zelfverbetering. Bijvoorbeeld, de mogelijkheid om Tlingit te spreken, een inheemse Amerikaanse taal die door ~500 mensen wordt gesproken. Het zal erg moeilijk zijn voor het model om zichzelf te verbeteren in het spreken van Tlingit, aangezien we nog geen manieren hebben om laag-resources talen zoals deze op te lossen, behalve het verzamelen van meer gegevens, wat tijd kost. Dus vanwege de gradient van moeilijkheid van zelfverbetering, zal het niet allemaal tegelijk gebeuren. Ten slotte, misschien is dit controversieel, maar uiteindelijk wordt vooruitgang in de wetenschap gebottlenecked door experimenten in de echte wereld. Sommigen geloven misschien dat het lezen van alle biologiepapers ons de genezing voor kanker zou vertellen, of dat het lezen van alle ML-papers en het beheersen van alle wiskunde je in staat zou stellen om GPT-10 perfect te trainen. Als dit het geval was, zouden de mensen die de meeste papers lezen en de meeste theorie bestuderen de beste AI-onderzoekers zijn. Maar wat er echt is gebeurd, is dat AI (en vele andere velden) gedomineerd werd door meedogenloos empirische onderzoekers, wat weerspiegelt hoeveel vooruitgang is gebaseerd op experimenten in de echte wereld in plaats van op ruwe intelligentie. Dus mijn punt is, hoewel een super slimme agent misschien 2x of zelfs 5x betere experimenten kan ontwerpen dan onze beste menselijke onderzoekers, moeten ze aan het eind van de dag nog steeds wachten tot experimenten zijn uitgevoerd, wat een versnelling zou zijn maar geen snelle stijging. Samenvattend zijn er veel bottlenecks voor vooruitgang, niet alleen ruwe intelligentie of een zelfverbeteringssysteem. AI zal veel domeinen oplossen, maar elk domein heeft zijn eigen voortgangsnelheid. En zelfs de hoogste intelligentie zal nog steeds experimenten in de echte wereld vereisen. Dus het zal een versnelling zijn en geen snelle stijging, bedankt voor het lezen van mijn rant.

Het meest belonende aan werken op kantoor in de avonden en in het weekend is niet het werk dat je daadwerkelijk verzet, maar de spontane gesprekken met andere mensen die altijd aan het werk zijn. Het zijn de mensen die de neiging hebben om grote dingen te doen en die je meest succesvolle vrienden zullen worden.

Ik zou zeggen dat we ongetwijfeld bij AGI zijn wanneer AI een echte, levende eenhoorn kan creëren. En nee, ik bedoel geen $1B bedrijf, jullie nerds, ik bedoel een letterlijke roze paard met een spiraalvormige hoorn. Een toonbeeld van wetenschappelijke vooruitgang in genetische engineering en celprogrammering. De stof van kinderdromen. Durf ik te zeggen dat het in onze levens zal gebeuren.

De grootste bijdrage van menselijke taal is het opstarten van de training van taalmodellen.