To koniec ICML2025. Niesamowite było obserwować, jak ta przestrzeń przeszła od "O czym mówisz" do "To niemożliwe" do "Hmmm, to bardzo interesujące" w zaledwie rok. @tha_ajanthan @hmdolatabadi

Jeśli twierdzisz, że to przewidziałeś, lepiej miej odpowiednie P&L, aby to udowodnić.

Noam ma tendencję do nieprzesadzania.

Całkowicie się zgadzam - Flower labs to kolejna grupa, która aktywnie publikuje świetne materiały i teraz skupia się na zdecentralizowanym szkoleniu. Powinno to być istotnym punktem odniesienia dla wszystkich, którzy wciąż są sceptyczni wobec tej dziedziny - zespół Flower jest tak wiarygodny, jak to tylko możliwe, a Nic Lane to praktycznie szczyt w Federated Learning. Każdy sygnał wskazuje na to, że jesteśmy świadkami ogromnego akademickiego punktu zwrotnego w tej dziedzinie po stronie ML. To już nie jest nawet kontrowersyjne, to przeszło od tego do wyraźnie wczesnych dni tego, co stanie się istotnym i bardzo wpływowym polem.

Z mojego doświadczenia wynika, że uzyskanie akceptacji artykułu na temat zdecentralizowanego DL na konferencjach na najwyższym poziomie może być dość trudne. Motywacja nie jest znana wielu recenzentom, a standardowe ustawienia eksperymentów nie uwzględniają problemów, które chcesz rozwiązać. Dlatego bardzo się cieszę, że firmy takie jak @PluralisHQ i @PrimeIntellect inwestują wysiłek w dzielenie się swoimi wynikami i publikowanie ich na dużych konferencjach! IMO nawet przygotowanie zgłoszenia zmusza cię do większej rygorystyczności w kwestii twoich eksperymentów, a zewnętrzne opinie od recenzentów pomagają wyostrzyć przesłanie artykułu.

Pluralis + Prime Intellect + Ambient zmienia Ethereum do 2030 roku

Czułem, że zamknięcie modeli przez meta było bardzo przewidywalne. Wyraźnie powiedziałem, że to się wydarzy w zeszłym roku i wyjaśniłem dlaczego (z ).

Mówiłem przez 50 minut bez przerwy do pełnej sali badaczy AI na ICML, prezentując prace @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ i @GoogleDeepMind. Obecnie istnieje ogromne zainteresowanie DeAI. Misja (częściowo) zrealizowana.

Dla osób, które nie są zaznajomione z publikowaniem w AI; co roku odbywają się 3 główne konferencje. ICML, ICLR i NeurIPS. To są konferencje techniczne i odpowiadają czasopismom w innych dziedzinach - są głównym miejscem publikacji w AI. Konkurencja o przyjęcie prac na te konferencje osiągnęła już absurdalny poziom, akceptacja prac jest bardzo trudna, a wiele osób ma obawy co do procesu recenzji, który w tym momencie jest dość hałaśliwy. Silna praca bez wad ma około 50% szans na akceptację, a zazwyczaj praca jest składana z poprawkami od recenzentów kilka razy, aż zostanie zaakceptowana. Mimo to, prace w tych miejscach pozostają głównym znakiem legitymacji w świecie AI i prawdopodobnie nadal są głównymi wskaźnikami kariery dla badaczy ML (chociaż moim zdaniem to słabnie, ponieważ tak wiele badań w laboratoriach na granicy nie jest publikowanych). Prace głównego toru różnią się znacznie od prac warsztatowych. Główny tor ma intensywną, poważną recenzję rówieśniczą. Prace warsztatowe są dla wstępnych badań, które dają pewne wskazanie interesującego wyniku, ale są albo niekompletne, albo wynik nie jest wystarczająco znaczący dla głównego toru. Muszą być recenzowane tylko przez pulę recenzentów warsztatowych i nie pojawiają się w materiałach konferencyjnych. Wiele świetnych prac po raz pierwszy pojawiło się na warsztatach (np. grokking) - ale prace warsztatowe i głównego toru to zasadniczo różne rzeczy, z zasadniczo różnym poziomem wpływu. Jedynymi dwiema firmami w zdecentralizowanej AI, które mają prace głównego toru w tym roku, są @PrimeIntellect i Pluralis.

Używanie pięknych pulpitów nawigacyjnych Grafana do wszystkiego wewnętrznie, znacznie lepsze niż Tensorboard. Wandb wciąż dobre, ale nie działa z zdecentralizowanym treningiem. Zastanawiam się, jak wygląda wewnętrzne narzędzie wizualizacyjne w OpenAI - musi być niesamowite.