Modelos de video de difusión pero ahora - **en tiempo real**! Los filtros de video simples son en tiempo real pero solo pueden hacer recoloraciones y estilos básicos. Los modelos de difusión de video (Veo y amigos) son magia, pero tardan muchos segundos/minutos en generarse. MirageLSD es magia en tiempo real. A diferencia de los filtros de video simples, los modelos de difusión realmente *entienden* lo que están viendo, por lo que pueden estilizar todas las partes del feed de manera inteligente (por ejemplo, poner sombreros en las cabezas, o sables de luz en las manos, etc.). Y son arbitrariamente dirigibles, por ejemplo, mediante indicaciones de texto. Filtros de video personalizables e inteligentes desbloquean muchas ideas geniales con el tiempo: - transformar feeds de cámara en realidades alternas - dirigir y filmar tus propias películas, actuando escenas con accesorios. Tiempo real => retroalimentación/revisión instantánea. - codificar juegos de ambiente alrededor de simples esferas/bloques, luego usar un modelo de difusión en tiempo real para texturizar tu juego y hacerlo hermoso. - estilizar y personalizar cualquier feed de video: juegos, videos, ... por ejemplo, ¿Skyrim pero "MÁS ÉPICO"? ¿DOOM II pero con calidad moderna de Unreal Engine solo con un aviso? ¿Película de terror pero "linda, rosa y solo con conejitos"? ¡No lo sé! - fondos de videollamadas+++ - prueba de ropa virtual en tiempo real - gafas: por ejemplo, ¿cartoonificar tu visión en tiempo real? - ahora podemos construir el Espejo de Erised de Harry Potter, mostrando el "feed crudo" de ti en el espejo pero aumentado con tus deseos más profundos (según lo inferido por la IA). - No lo sé, probablemente me estoy perdiendo el más grande, ¡hay tantas cosas!
Decart
Decart18 jul, 04:44
Presentamos MirageLSD: El primer modelo de IA de difusión en vivo (LSD) Introduce cualquier transmisión de video, desde una cámara o chat de video hasta la pantalla de una computadora o un juego, y transfórmala en cualquier mundo que desees, en tiempo real (<40ms de latencia). Así es como funciona (con una demostración que puedes usar!) :
326,67K