Nie tweetowałem dużo w ciągu ostatnich dwóch miesięcy, ponieważ spędziłem czas na nauce i eksperymentowaniu z różnymi technikami RL. Cieszę się, że wkrótce podzielę się kilkoma projektami w trakcie realizacji: 1. Obliczeniowo-optymalny przepis na trening GRPO 2. Narzędzie oparte na RL, które zwiększa prywatność w interakcjach z LLM Eksperymenty były obiecujące 👀

1/ Dziś ogłaszamy Pleiades, serię epigenetycznych modeli bazowych (90M→7B parametrów) wytrenowanych na 1,9T tokenów ludzkich danych metylacji i genomowych. Pleiades dokładnie modeluje epigenetykę w przewidywaniu ścieżek genomowych, generacji i wykrywaniu chorób neurodegeneracyjnych z cfDNA, przewyższając wcześniejsze czyste bazy DNA.

Jaka jest rola pamięci LLM/RAG w perspektywie krótko- i średnioterminowej, biorąc pod uwagę, że długoterminowe okna kontekstowe mogą być bardzo duże? Uzyskałem kilka spostrzeżeń podczas omawiania okien kontekstowych LLM z kimś z zespołu DeepMind. Pracując nad Gemmą, odkryli, że mogą rozciągnąć długość kontekstu, ale napotkali problemy z jakością - tokeny na początku i na końcu są dobrze pobierane, ale środkowe gubią się w mechanizmie uwagi. Ich interesujące podejście: początkowo myśleli, że dłuższy kontekst po prostu rozwiąże wszystko, ale głębsza analiza wykazała, że przy stałej liczbie parametrów jakość nie jest za darmo. Pomimo dalszego wydłużania kontekstu, nadal uważają oni podejścia RAG za konieczne w najbliższej przyszłości (6-12 miesięcy) ze względu na te wyzwania związane z jakością uwagi. Na razie problem z pobieraniem nie jest w pełni rozwiązany tylko poprzez wydłużenie kontekstów. Poza tym wypełnienie całego okna kontekstowego dla wysokiej jakości, długoterminowych modeli kosztuje dziś ~$1 za rozmowę.