1/ Lançamento Encantado ✨ Todo ser humano merece uma IA verdadeiramente pessoal. Não um controlado por um grande laboratório. Não aquele que acumula seus dados. Use Encantado.

Não twittei muito nos últimos dois meses, pois passei um tempo aprendendo e experimentando várias técnicas de RL. Animado para compartilhar alguns WIP em breve: 1. Receita ideal de computação para treinamento GRPO 2. Ferramenta com tecnologia RL para aumentar a privacidade nas interações LLM Os experimentos têm sido promissores 👀

1/ Hoje anunciamos Plêiades, uma série de modelos de fundação epigenética (90M→7B params) treinados em tokens 1.9T de metilação humana e dados genômicos. Pleiades modela com precisão a epigenética para previsão de rastreamento genômico, geração e detecção de doenças neurodegenerativas a partir do cfDNA, superando as linhas de base anteriores do DNA puro.

Qual é o papel da memória LLM / RAG no curto a médio prazo, dado no contexto de longo prazo, as janelas podem ser extremamente grandes? Obtive alguns insights ao discutir janelas de contexto LLM com alguém da equipe DeepMind. Trabalhando no Gemma, eles descobriram que podiam esticar o comprimento do contexto, mas encontrar problemas de qualidade - os tokens no início e no final são bem recuperados, mas os do meio se perdem no mecanismo de atenção. Sua opinião interessante: eles inicialmente pensaram que um contexto mais longo resolveria tudo, mas uma análise mais profunda mostrou que, com a contagem fixa de parâmetros, a qualidade não vem de graça. Apesar de empurrar ainda mais os comprimentos de contexto, eles ainda veem as abordagens RAG como necessárias para o futuro próximo (6-12 meses) por causa desses desafios de qualidade de atenção. Por enquanto, o problema de recuperação não está totalmente resolvido apenas tornando os contextos mais longos. Além disso, preencher toda a janela de contexto para modelos de contexto longo e de alta qualidade custa ~ $ 1 por chamada hoje.