De som intuitivt mangler noe i LLM-er sliter med å finne gapet utover utilstrekkelige metaforer som «stokastisk papegøye» eller «glorifisert autofullføring». Det du famler etter er fragmentert sammenfiltret representasjon (FER). Det er den konkrete kjernen i dine glatte intuisjoner. Det er grunnen til at disse modellene kan fortsette å forbedre seg på dramatiske og genuint ikke-trivielle måter, men likevel lide av en underliggende sykdom. Det er der reelle muligheter og håp ligger for revolusjonær fremgang, Representasjon er kjernen i tanken, i kreativiteten og faktisk i selve intelligensen. Det er mulig å "vite" en ufattelig mengde og likevel representere den dårlig. Og det er mulig for representasjon å bli bedre. Og det vil til slutt skje på en eller annen måte.
75,71K