Wat is de rol van LLM-geheugen/RAG op korte tot middellange termijn, gezien de context op de lange termijn dat vensters extreem groot kunnen zijn? Ik heb wat inzichten gekregen door LLM-contextvensters te bespreken met iemand van het DeepMind-team. Toen ze aan Gemma werkten, ontdekten ze dat ze de contextlengte konden rekken, maar kwaliteitsproblemen konden tegenkomen - tokens aan het begin en einde worden goed opgehaald, maar middelste gaan verloren in het aandachtsmechanisme. Hun interessante kijk: ze dachten aanvankelijk dat een langere context alles zou oplossen, maar diepere analyse toonde aan dat met een vast aantal parameters kwaliteit niet gratis is. Ondanks het feit dat de context verder wordt uitgebreid, zien ze RAG-benaderingen nog steeds als noodzakelijk voor de nabije toekomst (6-12 maanden) vanwege deze uitdagingen op het gebied van aandachtskwaliteit. Voorlopig is het ophaalprobleem niet volledig opgelost door alleen contexten langer te maken. Bovendien is het invullen van het volledige contextvenster voor modellen van hoge kwaliteit met een lange context vandaag ~ $ 1 per gesprek.