Как делают концерты вокалоидов или как Мику Хатсуне попадает на сцену




Всем известно, что популярность вокалоидов взлетела до небес (по крайней мере в Японии) после появления Мику Хатсуне в августе 2007 года. Японию захлестнул поток новых песен и иллюстраций новоявленной виртуальной звезды.
Огромный импульс популяризации Мику дало появление в феврале 2008 года вопиюще бесплатной программы 3-D анимации MikuMikuDance. Теперь интернет с огромной скоростью наполнялся новыми видеоклипами с Мику, а, вскоре, и с другими вокалоидами.

Надо было решать вопрос, как вывести виртуальную звезду в Реальность.
Частично, это было осуществлено на Первом живом концерте Мику Хатсуне 22 августа 2009 года, но самый популярный вокалоид появился на киноэкране, а музыканты остались внизу.

Но 9 марта 2010 года, на известном концерте в Токио Miku no Hi Kanshasai 39’s Giving Day, Мику Хатсуне все-таки вывели на сцену. Давайте разберемся, как это сделали.

 

фото как делают концерты вокалоидов

 

Концерты вокалоидов. Визуализация

Задача была непростая, разместить полностью виртуальную певицу среди вполне реальных музыкантов. В принципе, кое-какие наработки уже были — проекция на прозрачный экран. Но сквозь виртуальную певицу бессовестно просвечивали живые музыканты, что напрочь убивало всю иллюзию реальности.

Была применена следующая схема, проектор оставили, а вот с экраном сделали несколько интересных вещей….

 

фото как делают концерты вокалоидов

 

На сцену поставили прозрачный экран, таким образом, чтобы в поле зрения зрителей, смотрящих в этот экран, не попадало никаких ярких или подсвеченных предметов. Сразу за ним поставили полупрозрачный сферический экран, на который и спроецировали изображения виртуальной певицы.

Пока в зале было включено освещение, на сцене стояло обычное стекло. Но как только погас свет, перед зрителями образовалось некое темное окно в Виртуальный мир в котором появилась Богиня! (Ну, по крайней мере, поклонники, оказавшиеся на этом концерте думали именно так. Уверен!)

Теперь, благодаря продуманному освещению, сквозь проекции не просвечивали реальные объекты, а сферичность экрана создавала эффект псевдообъемности. Так что голограмм на сцене никогда не было — была обычная плоская проекция, приукрашенная некоторыми оптическими эффектами.

Надо добавить, что на первом из серии концертов MikuPa вообще не было ни прозрачного экрана, ни проектора. Они использовали просто большую плазменную панель, которую поставили между музыкантами.
Выглядело это примерно так:

 

фото как делают концерты вокалоидов

 

Потом панель то ли разбили, то ли залили водой, короче, по тем или иным причинам, перешли на технологию с проекторами.

Если сравнивать эти технологии со стороны зрителей в зале, то для них, однозначно, лучше проекция, так как они в полной мере наслаждаются эффектами псевдо-объема. (Справедливости ради, надо сказать, что этот эффект различим далеко не во всем зале). А вот зрители, наслаждающиеся концертом на экране, этих тонкостей не видят. Зато лучи от прожекторов проектора сразу бросаются в глаза. Сравним Мику Хатсуне на плазме (левый скрин) и в виде проекции  (правый)

 

фото как делают концерты вокалоидовфото как делают концерты вокалоидов

 

Так или иначе, на момент написания статьи, основным способом визуализации виртуальных певцов является именно проекция.

В некоторых случаях режиссеры обходят узкие моменты этой технологии (практически все концерты Magical Mirai), а, иногда, садятся в лужу везде, где только можно (провальный Концерт в Кансае).

Но описание современных технологий будет неполным без упоминания о методе дополненной реальности.
Суть метода в том, что компьютер, обрабатывая реальное видео, «вписывает» в него виртуального исполнителя. Собственно, сам метод далеко не новый и сотни раз использовался для создания компьютерных эффектов в кино. Новое в нем то, что теперь быстродействия компьютера хватает для того, чтобы сделать это в режиме реального времени, «на лету».

 

фото как делают концерты вокалоидов

 

Чуть справа от ноги Иа можно заметить метку на полу — точка отсчета для компьютера, который будет строить недостающее изображение.. А чуть позади танцоров — белые линии, границы, которые вокалоид пересекать не будет. Как видно, эффект потрясающе реалистичен!

Есть пара подводных камней, движения на репетиции должны быть выверены таким образом, чтобы танцор и вокалоид не соприкоснулись. Реакции аннигиляции и вселенского взрыва, конечно, не будет, но виртуальная певица, проходящая сквозь живого артиста будет выглядеть нелепо…

Но самое главное и обидное в этом методе, зрители НЕ ВИДЯТ ИСПОЛНИТЕЛЯ НА СЦЕНЕ! Все прекрасное изображение строится только на экране монитора. Поэтому использовать этот метод можно (и нужно) только для записи клипов или концертов в стиле квази Live (как бы живой концерт), когда, несмотря на наличие сцены и зрителей (как правило, немногочисленных) все затачивается под студийную запись.

К слову, начиная года с 2016, нередко на концертах можно видеть и проекцию (для зрителей в зале) и компьютерную модель (для телезрителей). В частности на концерте китайских вокалоидов 2017 г было именно так. К сожалению, в этих случаях телезрители видят раздвоенного исполнителя (хорошо видно на скриншотах китайского концерта), хотя операторы и пытаются свести этот эффект к минимуму.

[Я решил не загружать статью видео, а использовать для иллюстрации скриншоты, поэтому, желающие посмотреть оригинальное видео, переходите на Youtube по приведенным под скринами ссылкам]

Вокалоиды на концертах. Перспективы визуализации

Собственно говоря, с 2010 года, когда нам показали, так называемую, «голограмму» — проекцию, принципиально ничего нового не случилось.
Улучшилось сглаживание, увеличилась частота кадров, сильно расширился экран, кое-где появилось даже два экрана, но принцип остался неизменным — двухмерная проекция.

Проблемой оставалось отсутствие технологий, обеспечивающих вывод голографического изображения в свободном пространстве и засилье псевдо-голограмм. Знаменитые голограммы в цилиндрах по сути голограммами тоже не являются. Вам просто показывают двухмерную картинку с той стороны, с какой вы на нее посмотрите.

фото как делают концерты вокалоидовНо не все настолько плохо. Спасение идет из той же Японии. Причем проблему решают с 2006 года, а в 2011 году появилась работающая технология создания изображения в свободном пространстве без дисплея!

Спасителями выступили Национальный институт передовой промышленной науки и технологии — AIST, университет Keio и Burton Inc. (Может кто знает их мотоциклы Kawasaki). Суть метода в том, что импульсы лазера в невидимом глазом спектре фокусируясь в определенной точке пространства переводят атомы азота воздуха в активное состояния и те излучают свет.

На скрине слева видно крыло бабочки (сама бабочка прорисовывается не сразу), которая летала на высоте 2 — 3 метров. Видео летающей бабочки с комментариями можно посмотреть https://youtu.be/GNoOiXkXmYQ (кстати, оно у нас вроде приводилось).

Конечно, видео не очень впечатляет, но учитывая, что прошло уже 2 года с момента его опубликование и это только первые шаги, можно с уверенностью сказать, что будущее за визуализацией с помощью голограмм в свободном пространстве. И это будущее ждать осталось не так уж долго!

Хореография на живом концерте вокалоидов

фото как делают концерты вокалоидов

 

Как же создаются танцы, которые исполняют Мику Хатсуне и другие вокалоиды во время своих выступлений?
Понятно, работает профессиональный хореограф, а потом?

Уверен, что многие сразу вспомнили про программу MikuMikuDance и, конечно же, ошиблись.
Проблема в том, что для того, чтобы создать танец вручную в этой программе, понадобится хорошее знание анатомии («кости» в этой программе не имеют физиологических ограничений и их можно крутить как угодно), отличное пространственное мышление и очень, очень много времени.

Давно уже MikuMikuDance дружит с сенсором захвата движений Kinnect, но, любой, кто его использовал подтвердит, что захват происходит очень не точно, тонкие движения пальцев не захватываются и править моушен (файл танца для 3d модели) придется ненамного меньше, чем его создавать с нуля.

Поэтому, начиная с самого первого концерта, движения модели не программировали, а захватывали с живого профессионального танцора с помощью продвинутой системы сенсоров.

Рассмотрим процесс на примере комплекса PERCEPTION NEURON.

На танцора одевается специальный костюм с 32-мя взаимосвязанными датчиками. Датчики фиксируют положение и движения головы, шеи, плеч, груди, талии, обеих рук, пальцев обеих рук, ног, большого пальца обеих стоп.
Система может посылать данные на компьютер через порт USB, с помощью Wi-Fi или писать данные прямо на флешку.

Данные обрабатываются программой AXIS Neuron для их корректировки, исправления возможных ошибок и преобразования в большинство самых популярных форматов для управления и разработки 3-d моделей, в том числе и для MikuMikuDance.

На примере следующего видео, которое создавалась в честь дружбы Мику Хатсуне и Ангельского Пирожка можно видеть, как данные от танцора поступают в компьютер, а после необходимых доработок появились в конечном видео.

Сенсоры выглядят следующим образом:

 

фото как делают концерты вокалоидовфото как делают концерты вокалоидов

 

Особенно сложны сенсоры на кистях и пальцах:

 

фото как делают концерты вокалоидов

 

Но все эти системы позволяют записывать движения в файл и потом, обработав на компьютере, использовать в концерте или клипе.
Концерт — живое действо, Мику обращается к зрителям по заданной программе и, как правило, все проходит более-менее нормально. Но вот на злополучном концерте в Кансае, когда у Мику внезапно пропал голос, организаторам весьма пригодилась бы обратная связь

Но совсем недавно, в сеть попал клип, который прошел совсем незамеченным. Вернее, Мику Хатсуне просто выступила в качестве Ди Джея.
На самом деле, это было испытание системы Li-VR, при котором проекция Мику управлялась живым человеком в реальном времени. В процессе шоу был сбой звука и живая реакция Мику была весьма кстати!

фото как делают концерты вокалоидов

https://youtu.be/obFrj8nd8I8 с 2:10

Таким образом и в плане хореографии намечается прорыв. Возможно, совсем скоро, Мику или другие вокалоиды (точнее те, кто управляет голограммой-проекцией)будут общаться со зрителями вживую и адекватно реагировать на непредвиденные моменты в зале.
К сожалению, все зависит от продюсеров концертов и их заинтересованности.

P.S. Я упомянул, что MMD в серьезных концертах не используется. Но отдельные концерты проводятся чисто под движком MMD и без сопровождения живых музыкантов. Несколько лет назад была целая серия концертов Hatsune Appearans. (Можете глянуть один из концертов с русским переводом у нас на сайте)
Тем не менее, популярность у этих концертов была очень невелика и информации о новых на настоящий момент нет…

Иллюстрация вверху: Дина Б
Если будут дополнения или исправления, оставьте пожалуйста, в комментариях!

1,110 просмотров всего, 19 просмотров сегодня

0

Оставить комментарий

Войти с помощью: 

Ваш e-mail не будет опубликован.