Zmiany algorytmiczne, takie jak GSPO dla Qwen, są głównie odzwierciedleniem subtelnych różnych potrzeb nowego połączenia modelu bazowego i zbioru danych RL, a nie dużą innowacją w fundamentach. Infrastruktura i dane mają znacznie większe znaczenie niż drobne poprawki algorytmu RL.

Czy ktoś ma link do niedawnego wpisu na blogu szczegółowo opisującego szczegóły architektury między Llama, Qwen, Deepseek, Kimi itd.? Zapomniałem go dodać do zakładek :(

Nie wiem, który lobbing stoi za rebrandingiem uczenia się ciągłego jako uczenia się ciągłego, ale mi się to nie podoba.

ASI nie znajdzie z wyprzedzeniem wszystkich problemów numerycznych, które mogą pojawić się podczas twojego treningu.

Dane w internecie po tym, jak GPT stały się jeszcze bardziej radioaktywne

Osiągnęliśmy złoty medal na Międzynarodowej Olimpiadzie Matematycznej 🥇 🥳 To pierwszy ogólny system, który to zrobił poprzez oficjalny udział i ocenianie, i cieszę się, że mogłem wnieść mały wkład w ten kamień milowy w rozumowaniu matematycznym 🌈🫶

Czy masz doktorat (lub równoważny) lub będziesz go mieć w nadchodzących miesiącach (tj. za 2-3 miesiące ukończysz studia)? Chcesz pomóc w budowaniu agentów otwartego końca, którzy pomagają ludziom lepiej wykonywać ludzkie zadania, zamiast ich zastępować? Zatrudniamy 1-2 naukowców badawczych! Sprawdź 🧵👇

Zaproszona prelekcja od @MatharyCharles na temat DiLoCo!

Łatwo dostaję choroby lokomocyjnej. Uwielbiam Waymo, ponieważ są płynni. Ale prawdopodobnie są ostrożni w podejmowaniu ryzyka. Gdy autonomiczne prowadzenie osiągnie poziom ASI, będą priorytetowo traktować prędkość dla zysków, a ja znów będę chory.

Nasza prezentacja ustna jest jutro o 14:40 PDT podczas warsztatu @icmlconf na temat Agentów Użycia Komputera (Sala Spotkań Zachodnich 211–214)! Uczestniczysz wirtualnie? Link do Zooma i szczegóły tutaj: