RAG está roto y nadie habla de él 🤯 Stanford acaba de publicar un artículo sobre el "Colapso Semántico", demostrando que una vez que tu base de conocimiento alcanza los ~10.000 documentos, la búsqueda semántica se convierte literalmente en un lanzamiento de moneda. Aquí tienes por qué tu RAG está fallando: Más allá de los 10.000 documentos, tu búsqueda sofisticada de IA básicamente se convierte en una moneda al aire. Cada documento que añades se convierte en una incrustación de alta dimensión. A pequeña escala, documentos similares se agrupan perfectamente. Pero si sumas suficientes datos, el espacio se llena. Las distancias se comprimen. Todo parece "relevante". Es la maldición de la dimensionalidad. En el espacio 1000D, el 99,9% de tus datos viven en la capa exterior, casi equidistante de cualquier consulta. Stanford encontró una caída de precisión del 87% en 50.000 documentos. Añadir más contexto en realidad empeora las alucinaciones, no las mejora. Pensábamos que RAG resolvía las alucinaciones... simplemente los ocultaba tras las matemáticas. La solución no es reclasificar ni mejorar el chunking. Son bases de datos jerárquicas de recuperación y grafos.