super fajne! inspirujące i świetne przypomnienie, że większość najlepszych badaczy AI wcale nie jest na Twitterze. większość nie tweetuje, wielu nie ma kont najgłośniejsi ludzie tutaj, ci, którzy najwięcej piszą o AI, to zazwyczaj po prostu przypadkowi anonimowi techniczni bracia

nie można po prostu "rozwiązać" problemu badawczego zamiast tego rozwija się nową ramę intelektualną od podstaw. zadawanie i odpowiadanie na pytania oraz podpytania, być może przez kilka miesięcy w końcu, po ponownym rozważeniu pierwotnego problemu, okazuje się on trywialny

Jeszcze nie słyszałem, żeby to było omawiane, ale AI zasadniczo zabiło hackathony. Prawie wszystko, co można było stworzyć na hackathonie w 2019 roku, może być zbudowane lepiej i szybciej przez AI w 2025 roku.

to jest zły kod, prawda?

prawdopodobnie 10 razy więcej osób powinno pracować nad optymalizacją promptów systemy (potrzebujemy vLLM do promptopt), teoria, nowe techniki, benchmarki. całe to towarzystwo

oto trochę darmowego alfa: jeśli będziemy stosować RL zbyt długo po wstępnym treningu, z pewnością nadpiszemy parametry i zaczniemy zapominać rzeczy w oryginalnym artykule instructGPT ich najlepszy model łączył RLHF z gradientami wstępnego treningu, aby uniknąć dokładnie tego problemu dryfu modelu jednak nikt już tego nie robi. pewnie, to jedna konkretna instancja (mieszanie gradientów) szerszej idei (unikanie zapominania), ale wydaje się, że to bardzo niedoceniana linia myślenia, gdy wykonujemy coraz więcej kroków RL na przykład zobaczcie niedawny artykuł ProRL. teraz wykonują ponad 1000 kroków GRPO z niebagatelną szybkością uczenia się i bez kary za odchylenie od oryginalnego modelu. obwody zbudowane wewnątrz modelu podczas wstępnego treningu z pewnością zaczynają się psuć. a jeśli nie, to będą po 10k lub 100k krokach RL podejrzewam, że ta idea w końcu powróci; prawdopodobnie już to robią w dużych laboratoriach

Szukam dobrych przykładów generalizacji modeli rozumowania. Na przykład, model motywowany przez RL, który myśli przez chwilę i rozwiązuje problemy matematyczne, staje się lepszy w kreatywnym pisaniu. Czy to jest powszechne?

to wydaje się naprawdę ważne: jest całkowicie prawdopodobne, że model mógłby zdobyć IMO złoto bez *jakiegokolwiek* uczenia przez wzmocnienie, mając idealnie skonstruowany prompt po prostu nie wiemy, i brakuje nam narzędzi do efektywnego przeszukiwania przestrzeni promptów. cieszę się, że przynajmniej ktoś próbuje

nie da się tego wymyślić

hipotetyczna sytuacja - jestem firmą AI, która obniżyła koszt transferu i przechowywania modeli do zera. mogę serwować każdemu użytkownikowi ich własny model bez dodatkowych kosztów. co powinienem zrobić? bezpośrednio SFT modele specyficzne dla użytkownika na ich danych? czy RLHF na ocenach czatu? coś innego?