1/ Start von Enchanted ✨ Jeder Mensch verdient eine wirklich persönliche KI. Nicht eine, die von einem großen Labor kontrolliert wird. Nicht eine, die deine Daten hortet. Nutze Enchanted.

Ich habe in den letzten zwei Monaten nicht viel getwittert, da ich Zeit damit verbracht habe, verschiedene RL-Techniken zu lernen und zu experimentieren. Ich freue mich darauf, bald einige WIP zu teilen: 1. Berechnung des optimalen Rezepts für das GRPO-Training 2. RL-gestütztes Tool zur Verbesserung der Privatsphäre in LLM-Interaktionen Die Experimente waren vielversprechend 👀

1/ Heute kündigen wir Pleiades an, eine Reihe von epigenetischen Grundmodellen (90M→7B Parameter), die auf 1,9T Token menschlicher Methylierungs- und Genomdaten trainiert wurden. Pleiades modelliert Epigenetik genau für die Vorhersage von genomischen Tracks, die Generierung und die Erkennung neurodegenerativer Erkrankungen aus cfDNA und übertrifft frühere reine DNA-Baselines.

Welche Rolle spielt LLM-Speicher/RAG kurz- bis mittelfristig, da die Zeitfenster langfristig extrem groß sein können? Ich habe einige Erkenntnisse aus der Diskussion von LLM-Kontextfenstern mit jemandem aus dem DeepMind-Team erhalten. Bei der Arbeit an Gemma stellten sie fest, dass sie die Kontextlänge dehnen konnten, aber auf Qualitätsprobleme stießen - Token am Anfang und Ende werden gut abgerufen, aber mittlere gehen im Aufmerksamkeitsmechanismus verloren. Ihre interessante Sichtweise: Anfangs dachten sie, dass ein längerer Kontext einfach alles lösen würde, aber eine tiefere Analyse zeigte, dass Qualität bei einer festen Parameteranzahl nicht umsonst ist. Trotz der weiteren Verschiebung der Kontextlängen sehen sie die RAG-Ansätze für die nahe Zukunft (6-12 Monate) aufgrund dieser Herausforderungen an die Aufmerksamkeitsqualität als notwendig an. Im Moment ist das Retrieval-Problem nicht vollständig gelöst, indem man die Kontexte einfach länger macht. Außerdem kostet das Ausfüllen des gesamten Kontextfensters für qualitativ hochwertige Modelle mit langem Kontext heute ~1 $ pro Aufruf.