🚀 MegaTTS 3 il cloning vocale è qui Per contesto: un po' di tempo fa, ByteDance ha rilasciato MegaTTS 3 (con eccezionali capacità di cloning vocale), ma per vari motivi, hanno deciso di non rilasciare l'encoder WavVAE necessario per il funzionamento del cloning vocale. Recentemente, un encoder WavVAE compatibile con MegaTTS 3 è stato rilasciato da ACoderPassBy su ModelScope con risultati piuttosto promettenti. Nel complesso sembra piuttosto impressionante - sono entusiasta di vedere che finalmente possiamo fare cloning vocale con MegaTTS 3! (h/t a MysteryShack su Discord di StyleTTS 2 per le informazioni sull'encoder WavVAE)

Se potessi esprimere un desiderio oggi, desidererei che Kimi e Qwen rilasciassero i loro dataset post-addestramento come fa Nous 🫣🤗 In questo modo potremmo tutti costruire più facilmente sul lavoro degli altri!

Non ci sono stati studi sui ragionatori ibridi? Sto per eseguire alcuni test su un nuovo modello senza un dataset non di ragionamento. Ti farò sapere come i dati solo di ragionamento influenzano il modello rispetto a quando ci sono dati privi di ragionamento. Probabilmente tra qualche settimana avrò alcune buone intuizioni se riesco a trovare il tempo.

Manifold aveva probabilità molto più alte che IMO Gold si verificasse entro la fine del 2025.

Ricordo quando tutti dicevano che era un problema di tokenizer.

Hermes 3 di @NousResearch è il dataset #1 su @huggingface Ho intenzione di usarlo Non dormire su Nous Loro: - Creano fantastici fine-tune open source - Hanno costruito un calcolo distribuito - Hanno dataset ben curati - Sono completamente trasparenti con i pesi e il codice del modello - Pubblicano opinioni basate su X

È difficile sottovalutare quanto sia difficile e importante avere una buona infrastruttura per portare a termine le cose.

La mia migliore ipotesi: Rubriche + Giudice LLM - Atomizzare ogni punto nella prova di verità e controllare rispetto all'output del modello. La mia ipotesi su come l'hanno resa scalabile - poiché prima non lo era, gli esseri umani dovevano crearle meticolosamente, è che hanno addestrato o fatto qualcosa per generare rubriche molto buone per ogni problema specifico o la sua risposta.

Prima di iniziare, creiamo un'IDE di codifica per l'IA in modo da poter ottenere solo dati di qualità.

Presenterò TorchTitan: una piattaforma nativa PyTorch per l'addestramento di modelli fondamentali domani al workshop ICML @ESFoMo! Vieni a salutarmi!