Если я говорю «хорошая графика», вы, вероятно, представляете себе последнюю ААА игру с текстурами высокого разрешения и трассировкой лучей. Если я скажу «фотореалистично», вы, вероятно, подумаете о чем-то похожем, но с особым вниманием к сходству между графикой и реальным миром. Однако новое исследование Intel Labs показывает нам, насколько фотореалистична должна быть графика — для разработки игр, особенно в VR.
Этот новый метод называется синтезом свободного просмотра. Он позволяет вам брать некоторые исходные изображения из окружающей среды (например, из видео, записанного во время прогулки по лесу), а затем реконструировать и визуализировать окружающую среду, изображенную на этих изображениях, в полном «фотореалистичном» 3D. Затем вы можете иметь «целевой вид» (то есть виртуальную камеру или перспективу, как у игрока в видеоигре) свободно перемещаться по этой среде, давая новый фотореалистичные виды. Это исследование будет представлено онлайн на ECCV 20 (с 23 по 28 августа), поэтому, чтобы узнать о нем больше, обязательно подключитесь!
(Долгосрочные) последствия этой техники для разработки игр должны быть очевидны. Теоретически, с изображениями реального места для рисования, он должен иметь возможность автоматически создавать проходимую игровую среду, которая не только идентична как по макету, так и по содержанию, но и по внешнему виду. выглядит. Быстрый и легкий дизайн уровней, сравнимый с реальностью с точки зрения визуальной точности.
Мы поговорили об этой новой методике с Владеном Колтуном, главным научным сотрудником по интеллектуальным системам Intel Labs. У него много приложений, но, в частности, что касается игр, Владен говорит, что «он может создавать игры, неотличимые от реальности».
Более подробно о том, как это происходит, вы можете прочитать в полной исследовательской статье Free View Synthesis. [PDF], но, по сути, среда, взятая из исходных изображений, реконструируется с использованием Structure From Motion (SfM) и Multi-View Stereo (MVS) для создания прокси-карты глубины, затем целевое представление имеет функции, перепроецированные и обработанные «через сверточную сеть. ”Синтезировать новую точку зрения. Вкратце: возьмите исходное изображение, создайте среду «карты глубины» из этих изображений, а затем используйте сверточную сеть для синтеза нового представления в этой среде.
«Есть некоторые геометрические вычисления, с которыми вы можете столкнуться в классических графических конвейерах, а затем пройти через сверточную сеть, как вы могли бы видеть в стандартном глубоком сетевом выводе». Таким образом, у нас есть глубокое обучение, которое ставится перед задачей создания фотореалистичных видов в реалистичных сценах с использованием только ограниченного количества исходных изображений (сделанных свободно в окружающей среде) для справки.
На видео выше показаны другие методы, которые пытаются сделать то же самое, в том числе NPBG, метод, «опубликованный одновременно на той же конференции», который «возник независимо» из другой исследовательской лаборатории и имеет много общего с Free View Synthesis. Однако, как вы можете видеть на видео, Free View Synthesis дает немного лучшие результаты.
Использование SfM и MVS очень важно для Free View Synthesis, говорит нам Vladen Koltun, и «многие другие методы не используют SfM / MVS в той степени, в которой и мы». Исследователи считают, что «было бы расточительно просто отметать весь тот поразительный прогресс, который был достигнут (и продолжает делаться) в SfM / MVS. Скорее, мы должны строить на нем. Высокий уровень точности, достигнутый нашим подходом, в значительной степени объясняется тридцатилетним прогрессом в области SfM / MVS ».
Изображение взято из видео выше, показывающее представление среды, созданное Free View Synthesis.
Теоретически, используя Free View Synthesis, разработчик игры мог бы записать видео о прогулке по местному пустынному парку, перебросить изображения из этого видео в конвейер Free View Synthesis и иметь возможность перемещать виртуальную камеру через реалистичный , фотореалистичная, 3D реконструкция парка, выбирая любой маршрут движения по своему желанию. Экстраполируйте из этого последствия для игр, и вы получите метод, который позволит легко и быстро создать фотореалистичную среду виртуальной реальности, в которой игрок может ходить. И хотя «текущая реализация не оптимизирована для работы в реальном времени … нет принципиальных препятствий на пути к тому, чтобы делать это в режиме реального времени ».
Для Free View Synthesis требуется возможность глубокого обучения графики, но это не должно быть проблемой, учитывая, что последние графические процессоры Nvidia имеют такую возможность (например, для DLSS), и AMD вскоре должна последовать этому примеру. Но настоящая проблема — по крайней мере, для игр — это создание новых синтетических элементов в сценах. Гулять по фотореалистичному парку — это все, что вам нужно, но чтобы создать игру, вам нужно иметь возможность взаимодействовать с окружающей средой или, по крайней мере, вводить в нее другие элементы (например, оружие для игры FPS).
Изображение взято из видео выше, показывающее представление среды, созданное Free View Synthesis.
Как этот метод может справиться с подобными проблемами, говорит Vladen Koltun, «это открытый вопрос». Другими словами, на него еще нет ответа — это не значит, что не будет. «В его нынешнем виде подход обрабатывает только статические сцены. Это позволяет вам свободно перемещать точку обзора через статичную сцену, сохраняя при этом фотографический вид. В конце концов, такие методы будут распространены на динамические сцены с движущимися объектами, но мы еще не достигли этого. Это активная тема для исследований ».
Вероятно, поэтому техника для игр «не будет доступна сразу» — «даже не в ближайшие пару лет, а со временем». Но это очаровательный взгляд на то, что может произойти.
У нас уже есть одни из лучших гарнитур виртуальной реальности, которые полностью погружают вас в игровой мир, и одни из лучших видеокарт, использующих искусственный интеллект и глубокое обучение для эффективного создания игровых сред с высокой точностью воспроизведения. Такие методы рендеринга, как Free View Synthesis, в сочетании с этими достижениями аппаратного обеспечения обещают нам большие технологические скачки в играх, и я думаю, что мы все можем от них отстать.
