Este é um resumo em inglês simples de um artigo de pesquisa chamado <a href=" Multi-modal Video-Audio Generation, Inpainting and Editing model</a>. Se você gosta desse tipo de análise, junte-se <a href=" ou siga-nos em <a href=" <h2>O problema com a geração de vídeo hoje</h2> <p>Durante anos, a geração de vídeo e a geração de áudio foram estranhas em laboratórios separados. Os modelos de vídeo atuais tornaram-se genuinamente impressionantes, capazes de sintetizar cenas fotorrealistas com movimento complexo e ricos detalhes. No entanto, eles operam em um vácuo, tratando o áudio como uma decoração opcional ou ignorando-o completamente.</p> <p>Isso cria um problema concreto: desalinhamento temporal. Quando você gera um vídeo de chuva batendo em um telhado de metal, o áudio (se presente) foi criado de forma independente. Um estrondo de porta no vídeo não se sincroniza com um estrondo de porta no áudio. O diálogo de um personagem não corresponde aos movimentos labiais. O resultado parece estranho, como um filme dublado onde algo está sempre ligeiramente fora.</p> <p>O problema mais profundo é arquitetônico. A maioria dos modelos multimodais trata o texto como o único condutor, com tudo o mais servindo a ele. Mas na produção cinematográfica real, vídeo e áudio se informam mutuamente o tempo todo. Um close de chuva não se trata apenas de pixels, mas de acústica. Uma cena de mercado lotado precisa de áudio que te diga quais conversas importam. O cinegrafista e o engenheiro de som precisam colaborar, não trabalhar sequencialmente.</p> <h2>Por que o som precisa nascer com a visão, e não ser adicionado depois</h2> <p>Imagine dois músicos em uma sala escura, incapazes de se ver, mas ouvindo atentamente. Um toca cordas, o outro toca percussão. Eles compartilham um condutor (o prompt de texto) e uma gravação de referência (a descrição da cena). Eles não podem se ver, mas ouvem a si mesmos fazendo música e permanecem no tempo. Essa é a percepção arquitetônica do SkyReels-V4.</p> <p>O áudio não é gerado após o vídeo aqui. Em vez disso, ambos os ramos geram em paralelo, condicionando-se mutuamente. O ramo de vídeo aprende que uma referência de áudio contém um cachorro latindo, então sintetiza um movimento que corresponde ao tempo e à energia daquele latido. O ramo de áudio ouve que o vídeo contém um cachorro, então gera sons consistentes com a presença daquele animal. Isso é fundamentalmente diferente de outras abordagens que adicionam áudio ao vídeo como um pensamento posterior.</p> <p>Quando dois processos generativos compartilham a mesma compreensão de entrada, eles podem ser orquestrados. Eles não são modelos independentes entregues sequencialmente, são duas partes de um único pensamento unificado.</p> <h2>Arquitetura: fluxos duais com uma mente compartilhada</h2> <p>O SkyReels-V4 usa um <strong>Transformador de Difusão Multimodal de Fluxo Duplo (MMDiT)</strong> onde um ramo sintetiza vídeo e outro gera áudio, enquanto ambos se baseiam em uma fundação conceitual compartilhada. Veja como as peças se encaixam.</p> <p>O ramo de vídeo sintetiza quadros em um espaço latente aprendido usando difusão, aceitando condicionamento visual rico: descrições de texto, imagens de referência, máscaras para inpainting, até clipes de vídeo completos. O ramo de áudio gera espectrogramas de som através do mesmo processo de difusão, condicionado por referências de texto e áudio. Ambos os ramos estão fundamentados em um <strong>Modelo de Linguagem Grande Multimodal (MMLM)</strong> baseado em um codificador de texto que entende conceitos visuais tão bem quanto a linguagem. Quando você descreve uma "tempestade de trovão sobre um campo de trigo", esse codificador captura tanto a riqueza visual quanto as expectativas sonoras embutidas nessa descrição.