Dual-stream-arkitekturen med delt multimodal koder, hvor video- og lydgrener genereres samtidig mens de er betinget av samme tekstforståelse.

Informasjon flyter fra tekstprompten inn i den delte koderen, blir dekomponert til forståelse, og denne forståelsen flyter inn i begge grenene. De venter ikke på hverandre, men de er orkestrert av samme konseptuelle input.

Diffusjonsmodeller er ideelle for denne felles generasjonen fordi både video og lyd drar nytte av trinnvis forbedring. Ved hvert diffusjonssteg kan videogrenen forsiktig justeres av lydgrenens nåværende estimat, og omvendt. Det er som to musikere som finpusser fremføringen sin i sanntid, hvor hver lytter og tilpasser seg den andre.

Ett grensesnitt for generering, redigering og innmaling

Her blir arkitektonisk eleganse praktisk kraft. De fleste videomodeller krever separate kodestier for «generer fra bunnen av», «rediger denne videoen» og «utvide dette klippet». SkyReels-V4 forener alle disse under én mekanisme ved hjelp av kanalsammenkobling.

Trikset er tilsynelatende enkelt. Ulike inngangskanaler kan fylles med forskjellig innhold, eller forlates maskert:

• Tekst-til-video-generering: Alle inngangskanaler er tomme (maskerte), så modellen genererer alt fra bunnen av.
• Bilde-til-video: Et startbilde er innebygd i visse kanaler, andre forblir tomme, og modellen genererer videoen som følger.
• Videoutvidelse: Eksisterende videorammer fyller noen kanaler, andre maskeres, og modellen genererer det som kommer etterpå.
• Inpainting: En video med maskerte områder er tilgjengelig, kanalene til disse områdene er tomme, og modellen fyller hullene sammenhengende.
• Visjonsreferert redigering: Både en video å redigere og et referansebilde som viser ønsket stil blir lagt inn som betinging, og modellen redigerer deretter.

Tradisjonelle tilnærminger krever ulike modeller eller treningsprosedyrer for hver oppgave. SkyReels-V4 lærer én samlet diffusjonsprosess. Under trening ser den tilfeldige kombinasjoner av fylte og tomme kanaler og lærer å inmale intelligent. Denne enhetlige behandlingen strekker seg naturlig til komplekse scenarioer der flere referanser styrer produksjonen, noe som er avgjørende for produksjon på kinonivå.

Å gjøre filmoppløsning beregningsmessig mulig

Å generere 1080p-video med 32 bilder per sekund i 15 sekunder er beregningsmessig krevende. Du kan ikke bare gjøre diffusjonsprosessen større og håpe på gjennomførbare slutningstider. I stedet bruker SkyReels-V4 en tretrinnsstrategi som opprettholder kvalitet der det betyr mest, samtidig som den reduserer beregningskostnadene andre steder.