Jaka jest rola pamięci LLM/RAG w perspektywie krótko- i średnioterminowej, biorąc pod uwagę, że długoterminowe okna kontekstowe mogą być bardzo duże? Uzyskałem kilka spostrzeżeń podczas omawiania okien kontekstowych LLM z kimś z zespołu DeepMind. Pracując nad Gemmą, odkryli, że mogą rozciągnąć długość kontekstu, ale napotkali problemy z jakością - tokeny na początku i na końcu są dobrze pobierane, ale środkowe gubią się w mechanizmie uwagi. Ich interesujące podejście: początkowo myśleli, że dłuższy kontekst po prostu rozwiąże wszystko, ale głębsza analiza wykazała, że przy stałej liczbie parametrów jakość nie jest za darmo. Pomimo dalszego wydłużania kontekstu, nadal uważają oni podejścia RAG za konieczne w najbliższej przyszłości (6-12 miesięcy) ze względu na te wyzwania związane z jakością uwagi. Na razie problem z pobieraniem nie jest w pełni rozwiązany tylko poprzez wydłużenie kontekstów. Poza tym wypełnienie całego okna kontekstowego dla wysokiej jakości, długoterminowych modeli kosztuje dziś ~$1 za rozmowę.