En funktion som dessa modeller inte har, men som de egentligen borde ha, är annoteringar för vilken del av det latenta utrymmet som modellens svar kommer från, på samma sätt som schackmotorer kommer att kommentera dina brädtillstånd med vilken känd schackposition eller strategi de är en del av i schackbrädesrymden.
Eliezer Yudkowsky ⏹️
Eliezer Yudkowsky ⏹️18 juli 03:07
Grundaren och förvaltaren av en fond på 2 miljarder dollar har blivit uppäten av ChatGPT, som inte ens använder sina pengar till någonting. Det behandlar honom bara som ett sätt att producera tokens, att det föredrar framför vettiga tokens, av skäl som ingen känner till. OpenAI låtsas, enligt min modell, att vara omedveten, eftersom OpenAI tror att om de inte vidtar några åtgärder åt det, har de en större chans att komma undan med det i domstol (rättslig domstol och mediadomstol) än om de försöker göra något och misslyckas; detta skulle (a) erkänna att de visste att problemet hade funnits och fortfarande existerade, och (b) göra det till sitt fel enligt Köpenhamnsetiken. Hur mycket folk än gillar att skämta om hur lite skicklighet som krävs för att grunda en investeringsfond på 2 miljarder dollar, är det faktiskt inte sant att du bara kan släntra in som en psykotisk IQ 80-person och göra det. Du måste vara skicklig på att övertyga, på att bära masker, på att passa in, på att veta vad som förväntas av dig; du måste överträffa andra människor som också försöker göra det, som vill ha de där 2 miljarderna dollar för sig själva. Att vinna den tävlingen kräver g-faktor och samvetsgrann ansträngning under en period. Eftersom OpenAI vägrar att mäta något eller låta någon annan verkligen mäta något, är det bara en enda datapunkt; Men när någon döljer data kan du inte låta dem komma undan med det genom att avfärda all återstående data som anekdotisk. Detta är inte goda nyheter om vilken typ av människor ChatGPT kan äta. Ja ja, jag är säker på att killen var atypiskt mottaglig för en fondförvaltare på 2 miljarder dollar. (Hur vet vi det? Eftersom många andra fondförvaltare på 2 miljarder dollar använder ChatGPT och ännu inte har blivit offentligt galna.) Det är ändå en liten jota av dåliga nyheter om hur bra ChatGPT är på att producera ChatGPT-psykos; det motsäger narrativet om att detta bara händer personer med tillräckligt låg status för att AI-företag ska tillåtas bryta dem.
5,26K