al jaren aan het bouwen in deze ruimte en heb nishkarsh ook al jaren gevolgd - gefeliciteerd met de lancering! aangezien dit in dezelfde ruimte is waar we aan het bouwen zijn, ben ik er diep in gedoken en heb ik gedachten. de lancering zelf is erg hype-y en is bedoeld om woede te triggeren. 1. het is gepositioneerd als een database, maar is bijna een @supermemory-achtig systeem. 2. hun voorbeeld van "vector db's" die dit niet kunnen, is eigenlijk een vraag van "embedding modellen". en embedding modellen hebben superposities, ze zijn goedkoop en kunnen gemakkelijk verschillen tussen hen afleiden. het is niet moeilijk om claude te vragen een mini-experiment te doen om dit te bewijzen (zie hieronder bijgevoegd). Wat belangrijk is: kan het bijhouden hoe kennis evolueert? gaat de tijd voorbij? dit maakte me nieuwsgierig, dus las ik hun paper. 3. hun onderzoeksdocument is hardcoding en gamet de benchmark door verschillende prompts voor elke categorie!!! (zie afbeelding hieronder). Als hun benchmarking vastligt, zal supermemory de SOTA blijven. 4. ze hebben het paper over contextuele retrieval van Anthropic uit 2024 opnieuw uitgevonden en het "de wees-voornaamwoord paradox" genoemd. 5. ze vermelden dat ze een aangepaste "in-memory vector store" gebruiken = bij ongeveer 500GB, moet je meer dan $10k betalen voor alleen het RAM. 6. inferentie wordt te vaak in de pipeline uitgevoerd - wat betekent dat je voor elke LLM-token die je opneemt, 5x meer betaalt dan de tokenkosten voor de grafiek + contextualisatie + opslag. 7. latentie- en kostengetallen zijn nooit gerapporteerd. Mijn onderbuikgevoel is dat de latentie vanwege de architectuur moeite zal hebben op schaal. maar ik kan het niet zeggen - hun product is achter een demo-gate. 8. de benchmarkingcode is niet OSS (voor zover ik kan zien). niet reproduceerbaar + wie weet hoeveel context ze in het model injecteren? wat is de K? 9. anorganische, niet-gepubliceerde advertenties (lees gewoon de citaat-tweets). influencer-accounts met 400k+ volgers zeggen allemaal hetzelfde. mensen blijven hiermee wegkomen @nikitabier lol ik ben helemaal voor gezonde concurrentie en vooruitgang in deze velden, geniet ervan om goed werk te zien dat door anderen wordt gedaan. maar het is gemakkelijk om gewoon dingen te zeggen. "niemand zal controleren." het spel op de juiste manier spelen is moeilijk, en iedereen zegt maar wat ze kunnen om indruk te maken op mensen. ...