È un po' un errore di denominazione pensare che gli esseri umani siano migliori nell'apprendimento continuo rispetto ai sistemi AI attuali. Soffriamo anche di oblio catastrofico: prendi una persona media e chiedile di ripetere i suoi esami di scuola superiore / università. Fallirà miseramente. La nostra memoria a lungo termine si degrada e dimentichiamo abilità precedentemente apprese. Dove eccelliamo è forse nell'uso più intelligente della nostra finestra di contesto (nel cervello) e nella capacità di utilizzare strumenti. Tendiamo a sapere in qualche modo cosa dobbiamo tenere a mente per fare un buon lavoro e vivere bene. Il resto lo delegiamo al mondo tramite file, strumenti o altre persone. La prossima generazione di LLM risolverà l'apprendimento continuo nello stesso modo. Se ricorderanno nuove informazioni aggiornando i pesi o tramite note/file o cache KV, sospetto che sarà un miglioramento graduale nel tempo e, prima che ce ne accorgiamo, ci aspetteremo che i nostri sistemi AI migliorino con noi nel tempo.