1/ Meluncurkan Enchanted ✨ Setiap manusia berhak mendapatkan AI yang benar-benar pribadi. Bukan yang dikendalikan oleh laboratorium besar. Bukan yang menimbun data Anda. Gunakan Enchanted.

Belum banyak men-tweet dalam dua bulan terakhir ini karena saya menghabiskan waktu belajar dan bereksperimen dengan berbagai teknik RL. Bersemangat untuk segera membagikan beberapa WIP: 1. Resep komputasi optimal untuk pelatihan GRPO 2. Alat bertenaga RL untuk meningkatkan privasi dalam interaksi LLM Eksperimen telah menjanjikan 👀

1/ Hari ini kami mengumumkan Pleiades, serangkaian model fondasi epigenetik (parameter 90M→7B) yang dilatih pada 1,9T token metilasi manusia & data genomik. Pleiades secara akurat memodelkan epigenetik untuk prediksi jalur genomik, generasi & deteksi penyakit neurodegeneratif dari cfDNA, mengungguli garis dasar DNA murni sebelumnya.

Apa peran memori LLM/RAG dalam jangka pendek hingga menengah yang diberikan dalam jendela konteks jangka panjang mungkin sangat besar? Mendapat beberapa wawasan dari mendiskusikan jendela konteks LLM dengan seseorang di tim DeepMind. Mengerjakan Gemma, mereka menemukan bahwa mereka dapat meregangkan panjang konteks tetapi mengalami masalah kualitas - token di awal dan akhir diambil dengan baik, tetapi yang tengah hilang dalam mekanisme perhatian. Pandangan menarik mereka: mereka awalnya berpikir konteks yang lebih panjang hanya akan menyelesaikan segalanya, tetapi analisis yang lebih dalam menunjukkan bahwa dengan jumlah parameter tetap, kualitas tidak datang secara gratis. Meskipun mendorong konteks lebih jauh, mereka masih melihat pendekatan RAG diperlukan untuk masa depan dalam waktu dekat (6-12 bulan) karena tantangan kualitas perhatian ini. Untuk saat ini, masalah pengambilan tidak sepenuhnya diselesaikan hanya dengan membuat konteks lebih panjang. Selain itu, mengisi seluruh jendela konteks untuk model konteks panjang berkualitas tinggi adalah ~$1 per panggilan hari ini.