SceneScript рассматривает 3D-реконструкцию как языковую задачу, а не геометрическую. Модель смотрит видео комнаты и просто учится писать сценарий для нее. Она автогрессивно выдает текстовые команды, такие как make_wall(...) или make_bbox(...), которые определяют сцену. Новая работа Стэнфорда "Язык Сцены" идет еще дальше, добавляя эмбеддинги CLIP для захвата визуального внешнего вида. Тот факт, что языковые модели уже достаточно хорошо понимают пространственные отношения, чтобы записывать графы сцен, довольно удивителен.