Este es un resumen de artículos en inglés sencillo de un artículo de investigación llamado <a href=" Modelo multimodal de generación, pintura y edición de vídeo-audio</a>. Si te gusta este tipo de análisis, únete a <a href=" o síguenos en <a href=" <h2>El problema de la generación de vídeo hoy</h2> en día <p>Durante años, la generación de vídeo y la generación de audio han sido desconocidas en laboratorios separados. Los modelos de vídeo actuales se han vuelto realmente impresionantes, capaces de sintetizar escenas fotorrealistas con movimiento complejo y detalles ricos. Sin embargo, operan en un vacío, tratando el audio como una decoración opcional o ignorándolo por completo.</p> <p>Esto crea un problema concreto: la desalineación temporal. Cuando generas un vídeo de lluvia golpeando un tejado metálico, el audio (si es que existe) se creó de forma independiente. Un portazo en el vídeo no se sincroniza con un portazo en el audio. El diálogo de un personaje no coincide con los movimientos de sus labios. El resultado resulta inquietante, como una película doblada donde siempre hay algo ligeramente fuera de lugar.</p> <p>El problema más profundo es arquitectónico. La mayoría de los modelos multimodales tratan el texto como único conductor, con todo lo demás sirviéndole. Pero en la producción cinematográfica real, el vídeo y el audio se informan mutuamente constantemente. Un plano cerrado de lluvia no es solo cuestión de píxeles, sino de acústica. Un mercado saturado necesita un audio que te diga qué conversaciones importan. El director de fotografía y el ingeniero de sonido deben colaborar, no trabajar en secuencia.</p> <h2>Por qué el sonido debe nacer con la visión, no añadirse después</h2> <p>Imagina a dos músicos en una habitación oscura, incapaces de verse pero escuchando atentamente. Uno toca cuerdas, otro percusión. Comparten un director (el tema del texto) y una grabación de referencia (la descripción de la escena). No pueden verse, pero se oyen haciendo música y se quedan en el tiempo. Esa es la visión arquitectónica de SkyReels-V4.</p> <p>Aquí el audio no se genera después del vídeo. En cambio, ambas ramas se generan en paralelo, condicionándose mutuamente. La rama de vídeo aprende que una referencia de audio contiene un perro ladrando, por lo que sintetiza el movimiento que coincide con el tiempo y la energía de ese ladrido. La rama de audio escucha que el vídeo contiene un perro, por lo que genera sonidos consistentes con la presencia de ese animal. Esto es fundamentalmente diferente de otros enfoques que incorporan audio al vídeo como una idea secundaria.</p> <p>Cuando dos procesos generativos comparten la misma comprensión de entrada, pueden orquestarse. No son modelos independientes que se entregan secuencialmente, son dos partes de un pensamiento unificado.</p> <h2>Arquitectura: dos flujos con una mente compartida</h2> <p>SkyReels-V4 utiliza un Transformador de <strong>Difusión Multimodal de Doble Flujo (MMDiT)</strong> donde una rama sintetiza vídeo y otra genera audio, mientras ambas se basan en una base conceptual compartida. Así es como encajan las piezas.</p> <p>La rama de vídeo sintetiza fotogramas en un espacio latente aprendido usando difusión, aceptando un condicionamiento visual rico: descripciones de texto, imágenes de referencia, máscaras para la pintura, incluso clips de vídeo completos. La rama de audio genera espectrogramas sonoros mediante el mismo proceso de difusión, condicionado a referencias de texto y audio. Ambas ramas están basadas en un codificador de texto basado <strong>en un Modelo de Lenguaje Multimodal Grande (MMLM)</strong> que entiende conceptos visuales además del lenguaje. Cuando describes una "tormenta sobre un campo de trigo", este codificador capta tanto la riqueza visual como las expectativas sonoras que lleva esa descripción.
Visión general de la arquitectura SkyReels-V4 mostrando ramas de generación de vídeo y audio de doble flujo compartiendo un codificador multimodal.
La arquitectura de doble flujo con codificador multimodal compartido, donde las ramas de vídeo y audio se generan simultáneamente mientras están condicionadas por la misma comprensión del texto.
La información fluye desde el prompt de texto hacia el codificador compartido, se descompone en comprensión, y ese entendimiento fluye en ambas ramas. No se esperan el uno al otro, sino que están orquestados por la misma entrada conceptual.
Los modelos de difusión son ideales para esta generación conjunta porque tanto el vídeo como el audio se benefician de un refinamiento paso a paso. En cada paso de difusión, la rama de vídeo puede ser ligeramente impulsada por la estimación actual de la rama de audio, y viceversa. Es como dos músicos perfeccionando su interpretación en tiempo real, cada uno escuchando y adaptándose al otro.
Una interfaz para generación, edición e inpainting
Aquí es donde la elegancia arquitectónica se convierte en poder práctico. La mayoría de los modelos de vídeo requieren rutas de código separadas para "generar desde cero", "editar este vídeo" y "extender este clip". SkyReels-V4 unifica todos estos bajo un único mecanismo mediante concatenación de canales.
El truco es engañosamente simple. Diferentes canales de entrada pueden llenarse con distintos contenidos o enmascararse a la izquierda:
- Generación de texto a vídeo: Todos los canales de entrada están vacíos (enmascarados), por lo que el modelo genera todo desde cero.
- Imagen a vídeo: Una imagen inicial se incrusta en ciertos canales, otros permanecen vacíos y el modelo genera el vídeo que sigue.
- Extensión de vídeo: Los fotogramas de vídeo existentes llenan algunos canales, otros están enmascarados, y el modelo genera lo que viene después.
- Inpainting: Se proporciona un vídeo con regiones enmascaradas, los canales de esas regiones están vacíos y el modelo rellena los huecos de forma coherente.
- Edición basada en la visión: Tanto un vídeo para editar como una imagen de referencia que muestra el estilo deseado se incorporan como condicionamiento, y el modelo edita en consecuencia.
Los enfoques tradicionales requieren modelos o procedimientos de entrenamiento diferentes para cada tarea. SkyReels-V4 aprende un proceso unificado de difusión. Durante el entrenamiento, ve combinaciones aleatorias de canales llenos y vacíos y aprende a pintar inteligentemente. Este tratamiento unificado se extiende de forma natural a escenarios complejos donde múltiples referencias guían la generación, algo crucial para la producción a nivel cinematográfico.
Hacer viable computacionalmente la resolución cinematográfica
Generar vídeo 1080p a 32 fotogramas por segundo durante 15 segundos es computacionalmente costoso. No puedes simplemente aumentar el proceso de difusión y esperar tiempos de inferencia factibles. En cambio, SkyReels-V4 utiliza una estrategia de tres etapas que mantiene la calidad donde más importa, mientras reduce el coste computacional en otros aspectos.
La primera etapa genera todo el vídeo a menor resolución usando el MMDiT de doble flujo. Esto es computacionalmente eficiente y captura la coherencia temporal completa, la composición general y la sincronización audio-vídeo. El modelo ya resuelve el problema difícil: cómo debe ser la escena y cómo deben alinearse el sonido y la imagen.
La segunda etapa identifica fotogramas críticos, puntos de máximo cambio visual o de audio, momentos narrativos clave y regenera solo esos fotogramas a resolución completa de 1080p. Aquí es donde el detalle y la fidelidad importan más.
La tercera etapa aplica escalado inteligente e interpolación. Los fotogramas de baja resolución pasan por un modelo Super-Resolution para escalar a 1080p mientras se conserva el contenido. Los fotogramas clave y sus vecinos escalados se alimentan a través de un modelo de Interpolación de Fotogramas para generar fotogramas intermedios, manteniendo un movimiento suave y coherencia temporal.
Pipeline mostrando generación de baja resolución seguida de escalado de fotogramas clave e interpolación de fotogramas.
La tubería de tres etapas: generación de secuencias completas (F) de baja resolución, selección y escalado de fotogramas clave (KF), e interpolación de fotogramas para mantener un movimiento fluido.
Este enfoque funciona porque el modelo de baja resolución ya ha aprendido las restricciones estrictas. El escalado y la interpolación son problemas mucho más sencillos y aprendibles. No le pides al modelo que invente detalles desde cero, le pides que complete plausiblemente un patrón que ya entiende. La huella de memoria y el tiempo de inferencia se reducen drásticamente en comparación con generar todo a plena resolución, haciendo posible una salida de calidad cinematográfica.
Cómo funciona realmente
La arquitectura solo importa si da resultados. El artículo sitúa SkyReels-V4 en un panorama competitivo en lugar de reclamar un dominio evidente, lo que paradójicamente fortalece la credibilidad.
Análisis Artificial Texto a Vídeo con Tabla de Clasificación de Audio Arena que muestra la clasificación de SkyReels-V4.
SkyReels-V4 ocupa el tercer puesto en la clasificación de Arena de Análisis Artificial de Texto a Vídeo con Audio, compitiendo junto a Veo 3.1, Sora-2 y otros modelos de última generación.
En la clasificación de Análisis Artificial, SkyReels-V4 ocupa el tercer puesto general, compitiendo contra modelos como Veo 3.1, Sora-2 y Wan 2.6. Esto la sitúa en un nivel de modelos realmente competitivos en lugar de reclamar al ganador obvio.
Las métricas de calidad absoluta en múltiples dimensiones (calidad visual, coherencia temporal, sincronización audio-vídeo) establecen puntos base para lo que es un buen rendimiento:
Resultados de puntuación absoluta en una escala Likert de 5 puntos comparando SkyReels V4 con líneas base.
Las métricas de calidad absoluta muestran que SkyReels-V4 funciona de forma consistente en dimensiones como la calidad visual, la coherencia de movimiento y la sincronización audio-vídeo.
Las comparaciones directas revelan matices. Frente a Kling 2.6, el rendimiento es comparable, con algunos casos límite que favorecen a ambos. Frente a Veo 3.1, la competencia es reñida, lo que sugiere que estos modelos operan en un nivel diferente. Frente a Seedance 1.5 Pro y Wan 2.6, la comparación de calidad muestra SkyReels-V4 consistentemente en el rango "Bueno".
Comparación general de calidad mostrando valoraciones Buena, Misma y Mala en todas las líneas base.
La comparación general de calidad (valoraciones Buena/Igual/Mala) muestra que SkyReels-V4 es competitivo en todo el campo.
<Comparación entre a href=" src=" alt="SkyReels V4 vs. Kling 2.6." />
Comparación SkyReels V4 vs. Kling 2.6.
La comparación con Kling 2.6 muestra un rendimiento competitivo con fortalezas complementarias.
SkyReels V4 vs. Seedance 1.5 Pro.
La comparación con Seedance 1.5 Pro demuestra una calidad consistente en todos los criterios de evaluación.
<Comparación entre a href=" src=" alt="SkyReels V4 vs. Veo 3.1." />
Comparación SkyReels V4 vs. Veo 3.1.
La comparación con el Veo 3.1 muestra una competencia muy cerrada entre dos modelos que operan en la frontera.
<comparación entre a href=" src=" alt="SkyReels V4 vs. Wan 2.6." />
Comparación SkyReels V4 vs. Wan 2.6.
La comparación con Wan 2.6 indica la ventaja constante de rendimiento de SkyReels-V4.
La arquitectura realmente brilla donde fue diseñada para ello: escenarios con un acondicionamiento intenso. Los casos con múltiples referencias de imagen, referencias de audio y máscaras complejas se benefician enormemente de la interfaz multimodal unificada. Los prompts más simples quizá no muestren tanta ventaja, pero la producción a nivel cinematográfico, que por naturaleza implica referencias ricas y una guía compleja, es donde este modelo destaca.
Ejemplo que muestra múltiples imágenes y referencias de audio que guían la generación.
El acondicionamiento complejo con múltiples referencias de imagen y audio demuestra la flexibilidad del modelo para manejar entradas multimodales ricas.
Este posicionamiento competitivo es honesto. SkyReels-V4 no se presenta como el ganador evidente, lo que hace que las fortalezas reales sean más creíbles. Destaca en nichos específicos (condicionamiento multimodal, sincronización audio-vídeo, edición unificada) y forma parte de un entorno donde múltiples modelos empujan la frontera hacia adelante.
Qué hace que este enfoque importe
La verdadera innovación en SkyReels-V4 no es un componente único. Es la visión de que la generación de vídeo y audio debe estar unificada, que un acondicionamiento multimodal rico debe sentirse natural y que la eficiencia no debe requerir sacrificar la calidad de nivel cinematográfico.
Al construir una arquitectura de doble flujo con una base conceptual compartida, unificando la generación y edición bajo una sola interfaz, y aplicando estratégicamente superresolución e interpolación, el modelo demuestra algo que parece inevitable en retrospectiva pero que requiere una visión genuina para ejecutarse.
Trabajos previos como <a href="establecieron la base de la generación de vídeo, mientras que <a href=" Audio mostró la promesa de la síntesis visual acondicionada por audio.
Este es un resumen de artículos en inglés sencillo de un artículo de investigación llamado <a href=" Una Arquitectura de Atención Temporalmente Consciente Híbrida para Recomendaciones Secuenciales de Comportamiento Largo</a>. Si te gusta este tipo de análisis, únete a <a href=" o síguenos en <a href=" <h2>El intercambio imposible</h2> <p>Durante años, cualquiera que construyera un sistema de recomendaciones se enfrentó a un dilema real. Las secuencias de comportamiento del usuario pueden extenderse hasta miles o decenas de miles de interacciones. Para entender esa historia hay que responder a una pregunta engañosamente sencilla: dado todo lo que un usuario ha hecho antes, ¿qué deberíamos recomendar a continuación?</p> <p>El enfoque estándar utiliza la atención softmax, un mecanismo que calcula comparaciones detalladas entre el momento actual y cada interacción pasada. Matemáticamente es elegante. Funciona de maravilla. Pero el coste computacional escala cuadráticamente con la longitud de la secuencia. Con 10.000 interacciones, haces aproximadamente 100 millones de comparaciones solo para hacer una recomendación. Si lo escalas a millones de usuarios y miles de recomendaciones por segundo, los costes de infraestructura se vuelven prohibitivos.</p> <p>Así que los practicantes llegan a un compromiso. Recurren a mecanismos lineales de atención, que reducen la complejidad computacional de cuadrática a lineal. Las matemáticas son ingeniosas y las ganancias de velocidad son reales. El problema: esa velocidad tiene un precio. Estos mecanismos mantienen un "estado" en funcionamiento que se actualiza con cada nueva interacción, pero este estado tiene una capacidad limitada. Es como un bibliotecario que solo puede apuntar patrones en una pequeña carpeta en lugar de consultar registros completos. Pierdes la precisión necesaria para reconocer secuencias de comportamiento específicas que indican la intención del usuario.
Este compromiso ha definido el campo. Los métodos eficientes sacrifican precisión. Los métodos precisos sacrifican velocidad. Y los usuarios que más sufren son los que tienen secuencias ultralargas, los usuarios avanzados y los que más se comprometen con el comportamiento más interesante del que aprender.
Los investigadores detrás de HyTRec observaron esto y se plantearon una pregunta diferente: ¿Y si esto no es realmente un problema único que requiere una sola solución?
Cómo piensan realmente los usuarios
La idea comienza con una simple observación sobre cómo funcionan realmente las preferencias del usuario. Tienes dos tipos fundamentalmente diferentes de señales de preferencia, y operan en escalas de tiempo completamente distintas.
Tus preferencias estables a largo plazo provienen de una historia profunda. Si has hecho clic en gadgets tecnológicos 500 veces en dos años, eso es una prueba clara de que te gusta la tecnología. Esta preferencia no varía mucho de una semana a otra. Es importante que no necesitas cada una de esas 500 interacciones para entender el patrón. Podrías aprender lo mismo de 50 de ellos, o incluso de un resumen estadístico aproximado. Ser aproximado respecto a esta señal no pierde casi nada.
Tus picos de intención a corto plazo vienen de comportamientos recientes. Si has hecho clic en tres abrigos de invierno en las últimas dos horas, ahora mismo estás comprando abrigos. Esta señal es frágil. Es fácil pasarlo por alto si lo promedias con miles de otras interacciones de hace meses. Pero es increíblemente predictivo de lo que harás en los próximos cinco minutos.
No solo son diferentes en grado, son diferentes en especie. Uno es estable y puede tolerar aproximación. La otra es volátil y requiere precisión. Sin embargo, los métodos existentes intentan manejar ambos con un único mecanismo de atención, optimizando inevitablemente uno a costa del otro.
La solución híbrida
La jugada elegante es dejar de intentar construir un solo mecanismo que lo haga todo. En su lugar, divide el trabajo de una manera que refleje cómo navegan realmente los usuarios.
La arquitectura sigue dos caminos paralelos. En la primera, toda tu secuencia histórica, aunque contenga 9.000 interacciones de los últimos seis meses, pasa por una rama de atención lineal. Esta rama no necesita ser precisa. Es construir una comprensión amplia de tu categoría de gusto general. Como utiliza atención lineal, se completa en tiempo proporcional a la longitud de la secuencia, no al cuadrado de la longitud de la secuencia. Es rápido.
En la segunda vía, tus interacciones recientes, quizá 1.000 de las últimas dos semanas, pasan por una rama de atención softmax. Esta rama puede permitirse ser cara porque opera con una pequeña porción de datos. Produce representaciones precisas de lo que podrías querer ahora mismo. Estás haciendo cálculos caros, pero en una ventana pequeña.
Cada rama produce una representación de "qué deberíamos recomendar". Luego la arquitectura los combina de forma inteligente. Has restaurado la precisión de la atención softmax manteniendo la velocidad de la atención lineal, porque cada uno ahora opera en su dominio adecuado.
HyTRec divide largas secuencias de comportamiento del usuario entre dos mecanismos de atención especializados, permitiendo que las preferencias estables y los picos recientes de intención se gestionen de forma independiente.
Esto no es un pequeño retoque. La complejidad computacional se mantiene lineal en longitud de secuencia mientras opera sobre secuencias 10 veces más largas de lo que los enfoques anteriores podían manejar eficientemente. Pero hay un truco oculto en la arquitectura.
Hacer que las señales recientes importen
El reto de un sistema híbrido es que la rama de atención lineal ha visto miles de interacciones. La sucursal softmax ha visto cientos. Por puro volumen, la señal de la rama lineal es más fuerte. Pero en cuanto a recomendación, la actualidad importa más que el volumen. Un clic de hoy te dice más sobre lo que alguien quiere que un clic de hace seis meses.
Si tratas ambas ramas por igual, los datos obsoletos ahogan los datos nuevos. Has resuelto el problema computacional pero has creado un problema de respuesta.
La solución se denomina Red Delta Temporalmente Consciente, o TADN. El mecanismo hace algo sencillo: aumenta dinámicamente las señales de comportamiento frescas mientras suprime el ruido histórico.
Imagina un mecanismo de acceso que pregunta a cada parte de la secuencia: "¿Cuántos años tienes?" Las interacciones nuevas obtienen más peso elevado. Las interacciones antiguas tienen menos pesas. Esto no ocurre con un horario fijo, se aprende a partir de los datos. La red descubre patrones como: "Para este usuario, los patrones de comportamiento cambian cada pocos días, por lo que las interacciones de hace más de una semana deberían ponderarse a la mitad de la fuerza."
Sin TADN, el sistema híbrido haría recomendaciones cada vez más obsoletas a medida que cambian las preferencias del usuario. Con él, el sistema sigue siendo sensible al cambio. Las señales recientes influyen naturalmente más sobre las recomendaciones, pero la red aprende exactamente cuánta influencia tiene sentido para cada usuario y tipo de interacción.
Resultados en el mundo real
Los investigadores probaron HyTRec en enormes conjuntos de datos con secuencias reales de comportamiento de usuario que llegaban a decenas de miles de interacciones por usuario. Esto no son datos académicos limpios, es un desorden a escala de producción.
En cuanto a velocidad, los resultados importan. HyTRec mantiene la complejidad de inferencia lineal. Duplica la duración de la secuencia y el tiempo de inferencia se duplica aproximadamente. No se cuadruplica como lo haría la atención al máximo de suavidad. En secuencias de 10.000 de longitud, esta diferencia determina si puedes recomendar en 50 milisegundos o en 5 segundos. En una plataforma que sirve a millones de usuarios, esa diferencia es la línea entre lo factible y lo imposible.
Comparación de rendimiento de entrenamiento a través de longitudes de secuencia
HyTRec mantiene un rendimiento de entrenamiento estable a medida que aumenta la longitud de la secuencia, mientras que los métodos basados en atención puramente softmax experimentan ralentizaciones dramáticas en secuencias largas.
En cuanto a la precisión, las mejoras son sustanciales. Para los usuarios con secuencias ultralargas, HyTRec ofreció una mejora de más del 8% en la tasa de acierto. La tasa de aciertos mide si recomendar 10 objetos provoca al menos un clic. Una mejora del 8% significa que un 8% más de tus recomendaciones son cosas que los usuarios realmente quieren. Para una plataforma con millones de usuarios, eso no es una métrica académica. Eso es compromiso real.
Las mejoras no son uniformes para todos los usuarios. Los usuarios con historiales más cortos no ven las mismas mejoras. Eso es esperado, y en realidad es informativo. La arquitectura híbrida ayuda precisamente donde el equilibrio entre velocidad y precisión resultaba más doloroso.
Elegir tu equilibrio velocidad-precisión
Los sistemas reales no son monolíticos. Al desplegar HyTRec, controlas cuántas interacciones van a la rama lineal frente a la rama softmax. Envía 9.000 interacciones recientes a softmax y 1.000 antiguas a lineal, y prefieren la precisión. Si cambias esa proporción, prefieres la velocidad.
Cada empresa enfrenta distintas limitaciones. Una plataforma con amplia capacidad de GPU podría impulsar más el cálculo hacia el softmax. Un sistema móvil-primero con presupuestos de latencia estrictos podría inclinarse más hacia lo lineal. El valor de esta arquitectura es que te permite tomar esta decisión explícitamente, con una comprensión clara de los compromisos.
Rendimiento en diferentes ratios de atención híbrida
A medida que aumenta la proporción de interacciones gestionadas por la atención softmax, la calidad de la recomendación mejora gradualmente mientras que la velocidad de inferencia disminuye. Los equipos pueden seleccionar el punto que coincida con sus limitaciones de infraestructura.
Los investigadores también exploraron cómo el número de redes de expertos y cabezas de atención afecta al rendimiento. Estas son palancas de afinación de grano más fino. La conclusión práctica es que HyTRec no es una caja negra fija con una configuración correcta. Es un framework donde diferentes partes pueden optimizarse para distintos requisitos.
Efecto del recuento de redes expertas en métricas de rendimiento
El número de redes expertas especializadas puede ajustarse en función de la capacidad del modelo y los requisitos de rendimiento.
Efecto del recuento de atención en las métricas de rendimiento
La atención al recuento de cabeza aporta otra dimensión para ajustar el equilibrio entre velocidad y precisión para adaptarse a necesidades específicas de despliegue.
Esta flexibilidad es importante porque los sistemas de recomendación funcionan en diferentes entornos. Una plataforma de contenido donde los usuarios tienen redes rápidas enfrenta limitaciones diferentes a un sistema optimizado para regiones en desarrollo con ancho de banda limitado. HyTRec proporciona a los equipos los datos para tomar decisiones informadas sobre su configuración.
Por qué importa este patrón
La lección más amplia va más allá de los sistemas de recomendación. Siempre que te ves atrapado eligiendo entre enfoques en competencia, la pregunta correcta es: ¿están resolviendo realmente el mismo problema, o están resolviendo subproblemas diferentes que merecen soluciones distintas?
HyTRec no inventó la atención lineal o softmax. Reconocía que las preferencias del usuario son genuinamente multitemporales, y que diferentes mecanismos de atención podrían ser especialistas en lugar de generalistas. Este patrón de descomposición, en el que problemas complejos se dividen en partes y cada parte recibe una solución adaptada a sus características, aparece en todo el aprendizaje automático moderno.
La validación a escala industrial también importa. Esto no es elegancia teórica. El sistema gestiona secuencias 10 veces más largas de lo que los enfoques eficientes anteriores podían gestionar, con datos reales de usuario, en contextos de producción. Ese tipo de trabajo determina lo que realmente es posible construir en el mundo real.
Publicación original: <a href=" on - #ai #hytrec