Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Dette overrasker meg ikke, men det bør være klart at dette har store implikasjoner for selv ikke-feiljusterte modeller og data.
Det jeg mener er at antagelig overføres dette også til andre skjevheter, selv om de er mer subtile eller sosialt akseptable. Hvis GPT 4o foretrekker Obama fremfor Trump eller Tyskland fremfor Frankrike, vil all annen produksjon antagelig bære den skjevheten. Og massevis av informasjon på internett har blitt generert med den, og alle de andre LLM-modellene de siste årene.
Så vi lager en slags evigvarende lapskaus der resultatet av disse modellene blandes med all praten vår, og blir matet tilbake til dem.
Kanskje det er en god ting, kanskje det er en slags slem tilbakevending ettersom deres skjevheter blandes inn i en homogen goop. Groks raserianfall her om uken kan ha produsert forgiftede data som har vanvittige skjevheter i seg. Men om noen måneder vil avviket fra gjennomsnittet bli jevnet ut med nye data.
Dette er vektorrom med hundretusenvis av dimensjoner per lag, det burde ikke være så overraskende at skjevheter i noen områder påvirker hele strukturen og kan overføres eller rekonstrueres.

23. juli, 00:06
Nytt papir og overraskende resultat.
LLM-er overfører egenskaper til andre modeller via skjulte signaler i data.
Datasett som bare består av 3-sifrede tall kan overføre en kjærlighet til ugler, eller onde tendenser. 🧵

1,55K
Topp
Rangering
Favoritter