Модели видео-диффузии, но теперь - **в реальном времени**! Простые видеофильтры работают в реальном времени, но могут выполнять только базовую перекраску и стилизацию. Модели видео-диффузии (Veo и его друзья) - это магия, но они требуют много секунд/минут для генерации. MirageLSD - это магия в реальном времени. В отличие от простых видеофильтров, модели диффузии действительно *понимают*, что они видят, поэтому могут интеллектуально стилизовать все части потока (например, надевать шляпы на головы или световые мечи в руки и т.д.). И они могут быть произвольно управляемыми, например, с помощью текстовых подсказок. Настраиваемые, интеллектуальные видеофильтры открывают множество классных идей со временем: - преобразование камерных потоков в альтернативные реальности - режиссировать и снимать свои собственные фильмы, разыгрывая сцены с реквизитом. Реальное время => мгновенная обратная связь/обзор. - создавать игры с кодом настроения вокруг простых сфер/блоков, а затем использовать модель диффузии в реальном времени, чтобы текстурировать вашу игру и сделать ее красивой. - стилизовать и настраивать любой видео поток: игры, видео и т.д. Например, Skyrim, но "БОЛЬШЕ ЭПИЧНО"? DOOM II, но с качеством современного Unreal Engine всего лишь с помощью подсказки? Ужастик, но "милый, розовый и только кролики"? Я не знаю! - фоны для зум-звонков+++ - виртуальная примерка одежды в реальном времени - очки: например, карикатуризировать ваше зрение в реальном времени? - теперь мы можем построить Зеркало Эрисед Гарри Поттера, показывающее "сырой поток" вас в зеркале, но дополненное вашими глубочайшими желаниями (как это интерпретирует ИИ). - Я не знаю, я, вероятно, упускаю самое главное, так много всего!
Decart
Decart18 июл., 04:44
Представляем MirageLSD: первая модель ИИ для диффузии в реальном времени (LSD) Введите любой видеопоток, от камеры или видеочата до экрана компьютера или игры, и преобразуйте его в любой мир, который вы хотите, в реальном времени (<40 мс задержка). Вот как это работает (с демонстрацией, которую вы можете использовать!) :
326,66K