@karpathy я только что снова пересматривал ваше интервью, @lexfridman что-то сделал с освещением?
Andrej Karpathy
Andrej Karpathy18 июл., 06:52
Модели видео-диффузии, но теперь - **в реальном времени**! Простые видеофильтры работают в реальном времени, но могут выполнять только базовую перекраску и стилизацию. Модели видео-диффузии (Veo и его друзья) - это магия, но они требуют много секунд/минут для генерации. MirageLSD - это магия в реальном времени. В отличие от простых видеофильтров, модели диффузии действительно *понимают*, что они видят, поэтому могут интеллектуально стилизовать все части потока (например, надевать шляпы на головы или световые мечи в руки и т.д.). И они могут быть произвольно управляемыми, например, с помощью текстовых подсказок. Настраиваемые, интеллектуальные видеофильтры открывают множество классных идей со временем: - преобразование камерных потоков в альтернативные реальности - режиссировать и снимать свои собственные фильмы, разыгрывая сцены с реквизитом. Реальное время => мгновенная обратная связь/обзор. - создавать игры с кодом настроения вокруг простых сфер/блоков, а затем использовать модель диффузии в реальном времени, чтобы текстурировать вашу игру и сделать ее красивой. - стилизовать и настраивать любой видео поток: игры, видео и т.д. Например, Skyrim, но "БОЛЬШЕ ЭПИЧНО"? DOOM II, но с качеством современного Unreal Engine всего лишь с помощью подсказки? Ужастик, но "милый, розовый и только кролики"? Я не знаю! - фоны для зум-звонков+++ - виртуальная примерка одежды в реальном времени - очки: например, карикатуризировать ваше зрение в реальном времени? - теперь мы можем построить Зеркало Эрисед Гарри Поттера, показывающее "сырой поток" вас в зеркале, но дополненное вашими глубочайшими желаниями (как это интерпретирует ИИ). - Я не знаю, я, вероятно, упускаю самое главное, так много всего!
5,96K