🚀 MegaTTS 3 z klonowaniem głosu jest już tutaj Dla kontekstu: jakiś czas temu ByteDance wydał MegaTTS 3 (z wyjątkowymi możliwościami klonowania głosu), ale z różnych powodów zdecydowali się nie wydać enkodera WavVAE, który jest niezbędny do działania klonowania głosu. Ostatnio na ModelScope pojawił się enkoder WavVAE kompatybilny z MegaTTS 3, który przynosi dość obiecujące wyniki. Ogólnie wygląda to dość imponująco - cieszę się, że w końcu możemy klonować głos za pomocą MegaTTS 3! (h/t dla MysteryShack na Discordzie StyleTTS 2 za informacje o enkoderze WavVAE)

Gdybym mógł dzisiaj coś sobie życzyć, życzyłbym sobie, aby Kimi i Qwen opublikowali swoje zbiory danych po treningu, tak jak robi to Nous 🫣🤗 W ten sposób moglibyśmy znacznie łatwiej budować na pracy innych!

Czy nie było żadnych badań nad hybrydowymi rozumowaniami? Zamierzam przeprowadzić kilka testów na nowym modelu, który nie ma z nim zestawu danych bez rozumowania. Dam znać, jak dane tylko z rozumowaniem wpływają na model w porównaniu do danych bez rozumowania. Prawdopodobnie za kilka tygodni będę miał dobre spostrzeżenia, jeśli znajdę czas.

Manifold miał znacznie wyższe szanse na wystąpienie IMO Gold do końca 2025 roku.

Pamiętam, kiedy wszyscy mówili, że to był problem z tokenizacją.

Hermes 3 od @NousResearch to zestaw danych nr 1 na @huggingface Planuję go użyć Nie śpij na Nous Oni: - Tworzą niesamowite otwarte fine-tuny - Zbudowali rozproszony obliczeniowy - Mają starannie dobrane zestawy danych - Są całkowicie przejrzyste w kwestii wag modeli i kodu - Publikują oparte na analizach posty na X

Trudno przecenić, jak trudna i ważna jest dobra infrastruktura w realizacji zadań.

Moje najlepsze przypuszczenie: Rubryki + Sędzia LLM - Rozdziel każdy punkt w dowodzie prawdy i sprawdź w porównaniu z wyjściem modelu. Moje przypuszczenie, jak uczynili to skalowalnym - wcześniej nie było to możliwe, ludzie musieli starannie je tworzyć, to to, że wytrenowali lub zrobili coś, aby stworzyć bardzo dobre rubryki generowane dla każdego konkretnego problemu lub jego odpowiedzi.

Jutro zaprezentuję TorchTitan: natywną platformę PyTorch do trenowania modeli bazowych na warsztatach ICML @ESFoMo! Przyjdź i powiedz cześć!

Drony używane do wskazywania wyjścia na wydarzenie w Osace, Japonia