Welche Rolle spielt LLM-Speicher/RAG kurz- bis mittelfristig, da die Zeitfenster langfristig extrem groß sein können? Ich habe einige Erkenntnisse aus der Diskussion von LLM-Kontextfenstern mit jemandem aus dem DeepMind-Team erhalten. Bei der Arbeit an Gemma stellten sie fest, dass sie die Kontextlänge dehnen konnten, aber auf Qualitätsprobleme stießen - Token am Anfang und Ende werden gut abgerufen, aber mittlere gehen im Aufmerksamkeitsmechanismus verloren. Ihre interessante Sichtweise: Anfangs dachten sie, dass ein längerer Kontext einfach alles lösen würde, aber eine tiefere Analyse zeigte, dass Qualität bei einer festen Parameteranzahl nicht umsonst ist. Trotz der weiteren Verschiebung der Kontextlängen sehen sie die RAG-Ansätze für die nahe Zukunft (6-12 Monate) aufgrund dieser Herausforderungen an die Aufmerksamkeitsqualität als notwendig an. Im Moment ist das Retrieval-Problem nicht vollständig gelöst, indem man die Kontexte einfach länger macht. Außerdem kostet das Ausfüllen des gesamten Kontextfensters für qualitativ hochwertige Modelle mit langem Kontext heute ~1 $ pro Aufruf.