Godt innlegg fra @balajis om "verifiseringsgapet". Du kan se det som at det er to moduser i skapelsen. Låner GAN-terminologi: 1) generasjon og 2) diskriminering. f.eks. maling - du lager et penselstrøk (1) og så ser du en stund for å se om du har forbedret malingen (2). Disse to stadiene er ispedd stort sett alt kreativt arbeid. Andre punkt. Diskriminering kan være beregningsmessig veldig vanskelig. - Bilder er desidert enklest. f.eks. kan bildegeneratorteam lage gigantiske rutenett med resultater for å avgjøre om det ene bildet er bedre enn det andre. takk til den gigantiske GPUen i hjernen din bygget for å behandle bilder veldig raskt. - Tekst er mye vanskeligere. Det er skimbart, men du må lese, det er semantisk, diskret og presist så du må også resonnere (spesielt i f.eks. kode). - Lyd er kanskje enda vanskeligere IMO, fordi den tvinger en tidsakse slik at den ikke engang kan skimmes. Du er tvunget til å bruke seriell databehandling og kan ikke parallellisere den i det hele tatt. Du kan si at i koding har LLM-er kollapset (1) til ~instant, men har gjort svært lite for å adressere (2). En person må fortsatt stirre på resultatene og diskriminere om de er gode. Dette er min største kritikk av LLM-koding ved at de tilfeldig spytter ut *alt* for mye kode per spørring med vilkårlig kompleksitet, og later som om det ikke er noe trinn 2. Å få så mye kode er dårlig og skummelt. I stedet må LLM aktivt samarbeide med deg for å bryte ned problemer i små inkrementelle trinn, hver lettere verifiserbar. Den må forutse beregningsarbeidet til (2) og redusere det så mye som mulig. Den må virkelig bry seg. Dette fører meg til sannsynligvis den største misforståelsen ikke-kodere har om koding. De tror at koding handler om å skrive koden (1). Det er det ikke. Det handler om å stirre på koden (2). Laster alt inn i arbeidsminnet. Går frem og tilbake. Tenker gjennom alle kanttilfellene. Hvis du fanger meg på et tilfeldig tidspunkt mens jeg "programmerer", stirrer jeg sannsynligvis bare på skjermen og, hvis jeg blir avbrutt, veldig sint fordi det er så beregningsmessig anstrengende. Hvis vi bare blir mye raskere 1, men vi ikke også reduserer 2 (som er mesteparten av tiden!), vil den totale kodingshastigheten tydeligvis ikke forbedres (se Amdahls lov).