Original size 1435x1995

Особенности создания виртуального окружения

This project is a student project at the School of Design or a research project at the School of Design. This project is not commercial and serves educational purposes

Original size 2048x977

«Мандалорец». 2019.

Режиссеры: Дэйв Филони, Рик Фамуйива, Дебора Чоу и другие.

Ведущий супервайзер по визуальным эффектам: Ричард Блуэм

Концепция

Исследование фокусируется на анализе технологии Virtual Production, которая использует игровой движок Unreal Engine от компании Epic Games, и ее применении в кинематографе.

Original size 1920x921

LED-установка для сериала «Оби-Ван Кеноби». 2022.

Режиссер: Дебора Чоу.

Ведущий супервайзер по визуальным эффектам: Кристофер Балог

Virtual Production (UE Virtual Production) — относительно новый метод создания виртуальных окружений, который становится все более популярным среди киностудий. Однако немногие зрители знают о том, насколько широко используется этот метод в современном кинематографе.

Традиционные методы комбинирования окружения и актеров, такие как green screen, rear projection и matte painting, по-прежнему широко используются в киноиндустрии, но имеют некоторые недостатки по сравнению с технологией Virtual Production.

Цель этого исследования заключается в сравнении технологии UE Virtual Production с другими методами комбинированной съемки, а также в оценке ее преимуществ и ограничений на основе анализа некоторых фрагментов.

Original size 1600x667

Конфигурация LED-экранов в «Мире Дикого Запада», 2016.

Режиссеры: Джонатан Нолан, Нил Маршалл и другие.

Ведущий супервайзер по визуальным эффектам: Джей Ворт

UE Virtual Production — что такое и с чем едят

UE Virtual Production — это относительно новая технология, которая использует движок Unreal Engine и светодиодные графические экраны (LED) для создания виртуального окружения в режиме реального времени.

Original size 1920x1080

Пайплайн Virtual Production, предложенный компанией Epic Games

С помощью методов виртуального производства режиссер и съемочная группа создают высококачественные виртуальные миры и спецэффекты, которые не требуют значительных затрат на создание и обработку визуальных эффектов в постпродакшн-фазе.

Участники команды могут не только наблюдать за отображаемым на заднем плане фоном, но и всячески влиять на его геометрию и освещение непосредственно на месте съемки. Такой подход позволяет сохранить реалистичность и натуральность визуальных эффектов в конечном футаже, а также ускоряет процесс создания фильма.

Original size 1920x700

Съемочная установка фильма «Тор: Любовь и гром», 2022.

Режиссер: Тайка Вайтити.

Ведущий супервайзер по визуальным эффектам: Джейк Моррисон

Industrial Light & Magic, основываясь на базовых принципах virtual production, изобрела собственную систему установок StageCraft, которая известна благодаря своей гибкости в настройке съемочной сцены.

StageCraft позволяет задействовать как задний, так и верхний (потолочный) LED-экраны в зависимости от того, сцену какого масштаба нужно отснять.

Светодиодные экраны, в свою очередь, излучают не только свет, но и отображают виртуальную среду, что позволяет съемочной команде и актерам лучше понимать контекст сцены. Благодаря такому подходу, необходиомсть править тени, блики и отражения на стадии пост-обработки полностью отпадает.

Original size 1920x1080

Джордж Клуни на фоне LED-установки для фильма «Полночное небо», 2020. Режиссер: Джордж Клуни.

Ведущий супервайзер по визуальным эффектам: Марк Баковски

StageCraft используется практически повсеместно. Из самых ярких примеров можно отметить такие фильмы и сериалы, как Тор: Любовь и гром (2022), Бэтмен (2022) и Мандалорец (2019-…).

Original size 1200x675

Съемочная установка фильма «Бэтмен», 2022.

Режиссер: Мэтт Ривз.

Ведущий супервайзер по визуальным эффектам: Дэн Леммон

Процесс создания виртуальных сцен

Unreal Engine содержит все необходимые для создания виртуальной среды инструменты. Также в в этот набор входят стандартный инструментарий для 3D-моделирования, ручной и mocap-анимации, real-time рендеринга и т. д.

Процесс разработки виртуального окружения в UE может быть разделен на указанные ниже этапы.

1. Проектирование сцены

На этом этапе создаются виртуальные объекты и сама сцена, в которой эти ассеты будут использоваться. Они могут быть созданы с помощью инструментов моделирования в самом UE или импортированы из других программ.

Original size 1919x1079

Блокаут сцены в Unreal Engine, которая впоследствии обрастет бóльшим количеством реалистичных ассетов

Original size 1919x1079

Компания Quixel предоставляет бесплатную коллекцию реалистичных объектов, которыми пользуются как начинающие, так и профессиональные киностудии

2. Добавление текстур и материалов

Виртуальным объектам добавляются текстуры и материалы для придания им убедительного и реалистичного внешнего вида. Материалы могут быть созданы в самом UE с помощью редактора графов или импортированы из других 3D-пакетов.

Original size 1919x1079

Финализация сцены в Unreal Engine

3. Установка освещения

Original size 1920x600

Конфигурация сцены для «Star Trek: Discovery», 2017.

Режиссеры: Олатунде Осунсанми, Джонатан Фрейкс и другие.

Ведущий супервайзер по визуальным эффектам: Лесли Чанг

Освещение является важной частью создания виртуального окружения. Помимо LED-экранов, в сцене, как правило, используются дополнительные приборы для фронтального освещения сценических объектов.

В Unreal Engine также есть возможность использовать различные типы освещения, включая динамическое освещение и GI (global illumination).

Original size 2480x900

Фотографии с Virtual production showcase, организованного MMC Studios, LAVAlabs Moving Images и Entertainment Technology Concepts GmbH

4. Motion capture

Уже ставшая традиционной технология захвата движения без всяких трудностей поддерживается и в UE. Например, группа VFX-специалистов может в реальном времени отобразить на заднем плане (LED-экране) анимированного персонажа, повторяющего движения актера в mocap-костюме.

Original size 1573x655

Использование костюма захвата для воспроизведения анимаций в реальном времени. Подробнее: https://youtu.be/QyNlREfrKWc

5. Камера

Камеры в этом процессе делятся на два типа: виртуальные (движковые) и физические (традиционные).

Виртуальные камеры настраиваются движковыми специалистами и служат для отображения ракурса виртуальной сцены. Стоит отметить, что камеры в UE могут полностью парадировать перемещения реальной, сценической камеры.

Физические камеры выполняют свою классическую задачу — производят съемку переднего плана, содержащего актеров и другие сценические объекты. Камеры могут быть установлены на механических устройствах (например, на специальных кранах), чтобы упростить процесс создания различных кадров.

Original size 1920x1080

Как снимали Криса Хемсворта в фильме «Тор: Любовь и гром», 2022.

Режиссер: Тайка Вайтити.

Ведущий супервайзер по визуальным эффектам: Джейк Моррисон

6. Real-time rendering

Unreal Engine использует real-time rendering для отображения виртуальных сцен в реальном времени. Благодаря этой технологии, не только специалисты virtual production, но и рядовые операторы камер видят финальную визуализацию в реальном времени и имеют возможность мгновенно изменить содержание сцены и ее освещение.

Original size 1583x660

Настройка динамического освещения в Unreal Engine

Сравнение Virtual Production с традиционными технологиями создания кинематографических сред

Green screen

Original size 2480x800

Съемки фильма «Волк с Уолл Стрит», 2013 в павильоне.

Режиссер: Мартин Скорсезе.

Ведущий супервайзер по визуальным эффектам: Марк Рассел

Green screen (т. н. зеленый экран) — это метод создания виртуального фона, использующий полотно зеленого цвета, которое заменяется на цифровую картинку в фазе постпродакшена. Выбор зеленого цвета обусловлен тем, что он является наиболее отличающимся от цвета кожи и волос актеров, что упрощает выделение этих форм и деталей в фазе пост-обработки.

В постпродакшн фазе зеленый экран заменяется на цифровую картинку, которая создается с помощью специальных программ для компьютерной графики.

Original size 1280x532

Пост-обработка актера, снятого на зеленом фоне.

«Гарри Поттер и Дары Смерти: Часть II», 2011.

Режиссер: Дэвид Йейтс.

Ведущий супервайзер по визуальным эффектам: Дэвид Викери

В отличие от технологии green screen, UE Virtual Production предоставляет возможность создавать виртуальные сцены в реальном времени, без необходимости отдельной пост-обработки и с большей степенью интерактивности и контроля над съемочным процессом, а возможность создавать и изменять окружение на лету дает большую свободу для экспериментов с визуальным рядом.

Original size 1200x630

Green screen спокойно сочетается с LED-экраном

Вместе с тем, использование зеленого экрана более доступно и бюджетно, поскольку не требует использования дополнительного оборудования и высококвалифицированного персонала. Green screen также широко используется для создания спецэффектов в других отраслях, таких как телевидение и реклама.

Rear projection

Original size 965x582

Шон Коннери на проекторном фоне в фильме «Доктор Ноу», 1962.

Режиссер: Теренс Янг.

Ведущий супервайзер по визуальным эффектам: Джон Стирс

Технология rear projection (т. н. рирпроекция) широко использовалась в кинематографе XX века, прежде чем ее заменили более современными методами, например, цифровой проекцией и технологией Virtual Production.

Однако некоторые режиссеры до недавнего времени все еще предпочитали использовать рирпроекцию из-за ее уникального визуального эффекта и ностальгического шарма (например, в фильме «Убить Билла 2» Квентина Тарантино).

Original size 1919x946

«Убить Билла 2», 2004.

Режиссер: Квентин Тарантино.

Ведущий супервайзер по визуальным эффектам: Фрэнки Чанг

В отличие от Virtual Production, рирпроекция не позволяет создавать полностью виртуальные сцены и объекты в реальном времени. Вместо этого она используется для проецирования заранее созданных виртуальных элементов или отснятых футажей на реальные поверхности (полупрозрачный экран).

Original size 1200x632

Принцип работы технологии rear projection

Также, в отличие от Virtual Production, рирпроекция может потребовать большого количества времени на создание и подготовку предзаписанного видеоряда.

В Virtual Production сцены и объекты могут быть созданы и изменены в реальном времени, что позволяет сократить время на производство фильма и сделать процесс более гибким.

Original size 866x649

Компания Londonav и по сей день предоставляет прожекторы в аренду для съемки сцен

Matte painting

Original size 1200x481

«Звёздные войны: Эпизод 4 — Новая надежда», 1977.

Режиссер: Джордж Лукас.

Ведущий супервайзер по визуальным эффектам: Ричард Эдланд

Matte painting — это техника создания изображений, которые впоследствии используются в качестве заднего плана. Используя различные материалы, от картона и бумаги до компьютерных графических приложений, художники могут создавать изображения, которые выглядят как реальное окружение.

Техника матовой живописи была разработана еще в начале 20 века для использования в кино.

Original size 1078x606

Пример композитинга и matte painting от художника Чирага Трипафи.

Подробнее: https://youtu.be/RiyNQZqoHrA

С появлением компьютерных графических приложений техника матовой живописи сильно изменилась. Сейчас художники используют программное обеспечение для создания цифровых изображений, которые затем могут быть интегрированы в живые съемки.

Original size 2480x800

Нарисованные фоны для «Властелина Колец», 2001-2003.

Режиссер: Питер Джексон.

Ведущий супервайзер по 2D: Холи Эктон

В сравнении с UE Virtual Production, matte painting может показаться устаревшим методом. Виртуальные методы производства позволяют создавать высококачественные сцены в реальном времени, что позволяет режиссерам и операторам иметь бóльшую свободу при съемке. Это дает возможность съемочной группе взаимодействовать с виртуальными объектами и персонажами, а также изменять их в режиме реального времени.

Кроме того, у UE Virtual Production есть большое преимущество в плане экономии времени и денег, так как процесс создания виртуальных сцен с помощью этой технологии более быстрый, точный и гибкий, чем при использовании matte painting.

Original size 2480x800

Натуральный рисунок (слева) и его использование в фильме (справа).

«Star Trek», 1979. Режиссер: Роберт Уайз.

Ведущий супервайзер по визуальным эффектам: Джейсон Зиммерман

Вывод

UE Virtual Production — новая эффективная технология, но традиционные методы все еще остаются востребованными при разработке некоторых видов сцен.

В заключение хочу сказать, что UE Virtual Production превосходит традиционные методы создания виртуальных сред по ряду параметров. Возможность воспроизводить нереальное окружение в реальном времени делает виртуальные сцены более правдоподобными благодаря естественным отражениям на поверхностях и освещению, а актеры могут более естественно взаимодействовать с объектами сцены.

Эта методология также ускоряет процесс создания фильма, сокращая затраты и значительно приближая дату его выпуска. Но традиционные методы также имеют свои преимущества, например — более гибкая корректировка окружения на этапе пост-обработки и отсутствие необходимости в высококвалифицированных специалистах.

Bibliography

Show

Industrial Light & Magic: The Art of Special Effects // Thomas G. Smith, George Lucas, 1987

Дата обращения: 22.04.2023

The Invisible Art: The Legends of Movie Matte Painting // Mark Cotta Vaz, Craig Barron, 2004

Дата обращения: 20.04.2023

The future of content creation: Virtual production // Allan V. Cook, 2020

Дата обращения: 19.04.2023

VIRTUAL PRODUCTION: A NEW APPROACH TO FILMMAKING // Оleksandr Priadko, Maksym Sirenko2а, 2021

(URL:https://www.researchgate.net/publication/353161656_Virtual_Production_a_New_Approach_to_Filmmaking)

Дата обращения: 20.04.2023

10.

Virtual Production Is Changing How Movies (and Careers) Are Made // Noah Kadner, 2022

11.

(URL:https://blog.frame.io/2022/01/24/virtual-production-workflows-and-careers/)

12.

Дата обращения: 23.04.2023

13.

VIRTUAL PRODUCTION: TEN YEARS OF GROWTH ACHIEVED IN ONE? // David Davies, 2022

14.

(URL:https://www.ibc.org/features/virtual-production-ten-years-of-growth-achieved-in-one/8427.article)

15.

Дата обращения: 21.04.2023

16.

What Is a Green Screen (Film)? Learn About the Advantages and Disadvantages of Using a Green Screen in Film Production and 5 Tips For Making a Green Screen at Home, 2021

17.

(URL:https://www.masterclass.com/articles/what-is-a-green-screen-film-learn-about-the-advantages-and-disadvantages-of-using-a-green-screen-in-film-production-and-5-tips-for-making-a-green-screen-at-home)

18.

Дата обращения: 20.04.2023

19.

Andor Never Had An Opposition to Using Mandalorian’s VFX Tech // James Whitbrook, 2023

20.

(URL:https://gizmodo.com/star-wars-celebration-andor-vfx-panel-stagecraft-volume-1850317113)

21.

Дата обращения: 23.04.2023

22.

Real-Time Video Content for Virtual Production & Live Entertainment // Laura Frank, 2023

23.

(URL:https://www.routledge.com/Real-Time-Video-Content-for-Virtual-Production--Live-Entertainment-A-Learning/Frank/p/book/9781032073446)

24.

Дата обращения: 20.04.2023

25.

How Does Rear Projection Work? // Emily Burkinshaw, 2021

26.

(URL:https://prodisplay.com/news/how-does-rear-projection-work/)

27.

Дата обращения: 20.04.2023

28.

How the lifelike visual effects in 'War for the Planet of the Apes' were created // TAYLOR BEHRENDT, 2017

29.

Дата обращения: 21.04.2023

30.

(URL:https://abcnews.go.com/Entertainment/lifelike-visual-effects-war-planet-apes-created/story?id=48603166)

31.

Дата обращения: 22.04.2023

32.

HARRY POTTER AND THE DEATHLY HALLOWS PART 2 // David Vickery — VFX Supervisor — Double Negative, Vincent Frei, 2011

33.

(URL:https://www.artofvfx.com/harry-potter-and-the-deathly-hallows-part-2-david-vickery-superviseur-vfx-double-negative/)

34.

Дата обращения: 22.04.2023

35.

Check out the Subtle Visual Effects of THE WOLF OF WALL STREET // Matt Goldberg, 2014

36.

(URL:https://collider.com/wolf-of-wall-street-visual-effects/)

37.

Дата обращения: 22.04.2023

38.

The Virtual Production Field Guide // Noah Kadner, 2019

39.

(URL:https://cdn2.unrealengine.com/vp-field-guide-v1-3-01-f0bce45b6319.pdf)

40.

Дата обращения: 25.04.2023

41.

‘Thor: Love and Thunder’: How Marvel Embraced the LED Volume of ILM’s StageCraft // Bill Desowitz, 2022

42.

(URL:https://www.indiewire.com/2022/07/thor-love-and-thunder-stagecraft-led-volume-1234744298/)

43.

Дата обращения: 19.04.2023

Image sources

Show

ILM, 2022

(URL:https://www.ilm.com/stagecraft/)

Дата обращения: 23.04.2023

Weta FX, 2022

(URL:https://www.wetafx.co.nz/films/filmography/the-lord-of-the-rings-the-fellowship-of-the-ring/)

Дата обращения: 23.04.2023

Epic Games, 2022

(URL:https://www.unrealengine.com/en-US/virtual-production)

Дата обращения: 21.04.2023

10.

Julian Mitchell, 2022

11.

(URL:https://www.premiumbeat.com/blog/how-virtual-production-is-evolving/)

12.

Дата обращения: 25.04.2023

13.

2021

14.

(URL:https://www.disguise.one/en/insights/blog/virtual-production-in-2021-how-film-and-tv-will-continue-to-evolve/)

15.

Дата обращения: 25.04.2023

16.

Noah Kander, 2021

17.

(URL:https://blog.frame.io/2021/09/07/10-things-to-know-about-virtual-production/)

18.

Дата обращения: 22.04.2023

19.

Ricky Cheung, 2023

20.

(URL:https://massive.io/workflow/virtual-production-workflow/)

21.

Дата обращения: 23.04.2023

22.

Janko Roettgers, 2023

23.

(URL:https://www.protocol.com/newsletters/entertainment/virtual-production-hollywood-led)

24.

Дата обращения: 23.04.2023

25.

Bill Desowitz, 2020

26.

(URL:https://www.indiewire.com/2020/02/the-mandalorian-ilm-stagecraft-1202212389/)

27.

Дата обращения: 22.04.2023

28.

Devin Coldewey, 2020

29.

(URL:https://techcrunch.com/2020/02/20/how-the-mandalorian-and-ilm-invisibly-reinvented-film-and-tv-production/)

30.

Дата обращения: 22.04.2023

31.

Kristin Baver, 2020

32.

(URL:https://www.starwars.com/news/the-mandalorian-stagecraft-feature)

33.

Дата обращения: 25.04.2023

34.

2020

35.

(URL:https://amt-lab.org/blog/2020/10/virtual-production-an-introduction-to-its-use-in-the-entertainment-industry)

36.

Дата обращения: 23.04.2023

37.

David Giannini, 2019

38.

(URL:https://talkfilmsociety.com/columns/on-screen-projection-kill-bill)

39.

Дата обращения: 23.04.2023

40.

2020

41.

(URL:https://nextshoot.com/A-to-Z-of-film-and-video-production/page/how-does-rear-projection-work)

42.

Дата обращения: 23.04.2023

43.

2021

44.

(URL:https://www.thetrekcollective.com/2021/06/heritage-auctions-offer-up-stunning.html)

45.

Дата обращения: 21.04.2023

46.

2017

47.

(URL:https://dylancolestudio.com/return-of-the-king)

48.

Дата обращения: 22.04.2023

49.

Lucas Seastrom, 2020

50.

(URL:https://www.starwars.com/news/empire-at-40-5-amazing-matte-paintings-from-star-wars-the-empire-strikes-back)

51.

Дата обращения: 23.04.2023

52.

Vincent Strel, 2015

53.

(URL:https://www.artofvfx.com/discoveries-from-inside-matte-paintings-unveiled/)

54.

Дата обращения: 25.04.2023

55.

2022

56.

(URL:https://www.londonaudiovisual.co.uk/av-equipment/projection-screens/)

57.

Дата обращения: 23.04.2023

58.

Brittany K. King, 2022

59.

(URL:https://www.filmdaddy.com/features/the-rear-projection-effect)

60.

Дата обращения: 23.04.2023

61.

Saim Chedda, 2017

62.

(URL:https://www.thegamer.com/harry-potter-behind-scenes-photos-change-way-later-movies/)

63.

Дата обращения: 25.04.2023

64.

Aly Weisman, 2014

65.

(URL:https://www.businessinsider.com/wolf-of-wall-street-without-special-effects-2014-1)

66.

Дата обращения: 23.04.2023

67.

Ian Failes, 2022

68.

(URL:https://beforesandafters.com/2022/05/07/an-official-look-at-the-virtual-production-of-the-batman/)

69.

Дата обращения: 21.04.2023

70.

Обложка: https://4kwallpapers.com/movies/the-mandalorian-season-2-din-djarin-baby-yoda-the-child-2899.html

Особенности создания виртуального окружения

Oleg Kiselev

visual research

history of cinema

history of special effects

legends and myths

history of design

star wars