Ceci est un résumé en anglais simple d'un article de recherche intitulé <a href=" Multi-modal Video-Audio Generation, Inpainting and Editing model</a>. Si vous aimez ce genre d'analyses, rejoignez <a href=" ou suivez-nous sur <a href=" <h2>Le problème de la génération vidéo aujourd'hui</h2> <p>Depuis des années, la génération vidéo et la génération audio ont été des étrangères dans des laboratoires séparés. Les modèles vidéo actuels sont devenus véritablement impressionnants, capables de synthétiser des scènes photoréalistes avec un mouvement complexe et des détails riches. Pourtant, ils fonctionnent dans un vide, traitant l'audio comme une décoration optionnelle ou l'ignorant complètement.</p> <p>Cela crée un problème concret : le désalignement temporel. Lorsque vous générez une vidéo de la pluie frappant un toit en métal, l'audio (s'il est présent) a été créé indépendamment. Un claquement de porte dans la vidéo ne se synchronise pas avec un claquement de porte dans l'audio. Le dialogue d'un personnage ne correspond pas à ses mouvements de lèvres. Le résultat semble étrange, comme un film doublé où quelque chose est toujours légèrement décalé.</p> <p>Le problème plus profond est architectural. La plupart des modèles multimodaux traitent le texte comme le seul chef d'orchestre, tout le reste servant ce dernier. Mais dans la production cinématographique réelle, la vidéo et l'audio s'informent mutuellement en permanence. Un gros plan de la pluie ne concerne pas seulement les pixels, mais aussi l'acoustique. Une scène de marché bondée a besoin d'un audio qui vous indique quelles conversations sont importantes. Le directeur de la photographie et l'ingénieur du son doivent collaborer, pas travailler de manière séquentielle.</p> <h2>Pourquoi le son doit naître avec la vision, et non être ajouté plus tard</h2> <p>Imaginez deux musiciens dans une pièce sombre, incapables de se voir mais écoutant attentivement. L'un joue des cordes, l'autre joue de la percussion. Ils partagent un chef d'orchestre (le prompt textuel) et un enregistrement de référence (la description de la scène). Ils ne peuvent pas se voir, mais ils s'entendent faire de la musique et restent synchronisés. C'est l'idée architecturale de SkyReels-V4.</p> <p>L'audio n'est pas généré après la vidéo ici. Au lieu de cela, les deux branches génèrent en parallèle, se conditionnant mutuellement. La branche vidéo apprend qu'une référence audio contient un chien qui aboie, donc elle synthétise un mouvement correspondant au timing et à l'énergie de cet aboiement. La branche audio entend que la vidéo contient un chien, donc elle génère des sons cohérents avec la présence de cet animal. C'est fondamentalement différent des autres approches qui ajoutent l'audio à la vidéo comme une réflexion.</p> <p>Lorsque deux processus génératifs partagent la même compréhension d'entrée, ils peuvent être orchestrés. Ce ne sont pas des modèles indépendants remis séquentiellement, ce sont deux parties d'une seule pensée unifiée.</p> <h2>Architecture : flux doubles avec un esprit partagé</h2> <p>SkyReels-V4 utilise un <strong>Transformateur de Diffusion Multimodal à Flux Double (MMDiT)</strong> où une branche synthétise la vidéo et l'autre génère l'audio, tandis que les deux s'appuient sur une base conceptuelle partagée. Voici comment les pièces s'assemblent.</p> <p>La branche vidéo synthétise des images dans un espace latent appris en utilisant la diffusion, acceptant un conditionnement visuel riche : descriptions textuelles, images de référence, masques pour inpainting, même des clips vidéo complets. La branche audio génère des spectrogrammes sonores via le même processus de diffusion, conditionnés par des références textuelles et audio. Les deux branches sont ancrées dans un <strong>Modèle de Langage Large Multimodal (MMLM)</strong> basé sur un encodeur textuel qui comprend les concepts visuels ainsi que le langage. Lorsque vous décrivez un "orage au-dessus d'un champ de blé", cet encodeur capture à la fois la richesse visuelle et les attentes sonores intégrées dans cette description.