Яка роль LLM memory/RAG у короткостроковій та середньостроковій перспективі, враховуючи довгострокові контекстні вікна, можуть бути надзвичайно великими? Отримав деякі інсайти, обговорюючи контекстні вікна LLM з кимось із команди DeepMind. Працюючи над Gemma, вони виявили, що можуть розтягувати довжину контексту, але стикаються з проблемами якості - токени на початку і в кінці добре витягуються, але середні губляться в механізмі уваги. Їхня цікава думка: спочатку вони думали, що довший контекст просто вирішить все, але глибший аналіз показав, що з фіксованою кількістю параметрів якість не дається безкоштовно. Незважаючи на подальше збільшення тривалості контексту, вони все ще вважають підходи RAG необхідними на найближче майбутнє (6-12 місяців) через ці проблеми з якістю уваги. На даний момент проблема пошуку не повністю вирішена лише за рахунок збільшення термінів використання. Крім того, заповнення всього контекстного вікна для високоякісних моделей з довгим контекстом сьогодні становить ~$1 за дзвінок.