Поддержите наш сайт на Boosty! 

Всем известно, что популярность вокалоидов взлетела до небес (по крайней мере в Японии) после появления Мику Хатсуне в августе 2007 года. Японию захлестнул поток новых песен и иллюстраций новоявленной виртуальной звезды.
Огромный импульс популяризации Мику дало появление в феврале 2008 года вопиюще бесплатной программы 3-D анимации MikuMikuDance. Теперь интернет с огромной скоростью наполнялся новыми видеоклипами с Мику, а, вскоре, и с другими вокалоидами.

Надо было решать вопрос, как вывести виртуальную звезду в Реальность.
Частично, это было осуществлено на Первом живом концерте Мику Хатсуне 22 августа 2009 года, но самый популярный вокалоид появился на киноэкране, а музыканты остались внизу.

Но 9 марта 2010 года, на известном концерте в Токио Miku no Hi Kanshasai 39’s Giving Day, Мику Хатсуне все-таки вывели на сцену. Давайте разберемся, как это сделали.

Концерты вокалоидов. Визуализация

Задача была непростая, разместить полностью виртуальную певицу среди вполне реальных музыкантов. В принципе, кое-какие наработки уже были — проекция на прозрачный экран. Но сквозь виртуальную певицу бессовестно просвечивали живые музыканты, что напрочь убивало всю иллюзию реальности.

Была применена следующая схема, проектор оставили, а вот с экраном сделали несколько интересных вещей….

На сцену поставили прозрачный экран, таким образом, чтобы в поле зрения зрителей, смотрящих в этот экран, не попадало никаких ярких или подсвеченных предметов. Сразу за ним поставили полупрозрачный сферический экран, на который и спроецировали изображения виртуальной певицы.

Пока в зале было включено освещение, на сцене стояло обычное стекло. Но как только погас свет, перед зрителями образовалось некое темное окно в Виртуальный мир в котором появилась Богиня! (Ну, по крайней мере, поклонники, оказавшиеся на этом концерте думали именно так. Уверен!)

Теперь, благодаря продуманному освещению, сквозь проекции не просвечивали реальные объекты, а сферичность экрана создавала эффект псевдообъемности. Так что голограмм на сцене никогда не было — была обычная плоская проекция, приукрашенная некоторыми оптическими эффектами.

Надо добавить, что на первом из серии концертов MikuPa вообще не было ни прозрачного экрана, ни проектора. Они использовали просто большую плазменную панель, которую поставили между музыкантами.
Выглядело это примерно так:

Потом панель то ли разбили, то ли залили водой, короче, по тем или иным причинам, перешли на технологию с проекторами.

Если сравнивать эти технологии со стороны зрителей в зале, то для них, однозначно, лучше проекция, так как они в полной мере наслаждаются эффектами псевдо-объема. (Справедливости ради, надо сказать, что этот эффект различим далеко не во всем зале). А вот зрители, наслаждающиеся концертом на экране, этих тонкостей не видят. Зато лучи от прожекторов проектора сразу бросаются в глаза. Сравним Мику Хатсуне на плазме (верхний скрин) и в виде проекции  (нижний)

Так или иначе, на момент написания статьи, основным способом визуализации виртуальных певцов является именно проекция (а сейчас еще и 3D пространство с использованием виртуальных шлемов или очков).

В некоторых случаях режиссеры обходят узкие моменты этой технологии (практически все концерты Magical Mirai), а, иногда, садятся в лужу везде, где только можно (провальный Концерт в Кансае).

Но описание современных технологий будет неполным без упоминания о методе дополненной реальности.
Суть метода в том, что компьютер, обрабатывая реальное видео, «вписывает» в него виртуального исполнителя. Собственно, сам метод далеко не новый и сотни раз использовался для создания компьютерных эффектов в кино. Новое в нем то, что теперь быстродействия компьютера хватает для того, чтобы сделать это в режиме реального времени, «на лету»

Чуть справа от ноги Иа можно заметить метку на полу — точка отсчета для компьютера, который будет строить недостающее изображение.. А чуть позади танцоров — белые линии, границы, которые вокалоид пересекать не будет. Как видно, эффект потрясающе реалистичен!

Есть пара подводных камней, движения на репетиции должны быть выверены таким образом, чтобы танцор и вокалоид не соприкоснулись. Реакции аннигиляции и вселенского взрыва, конечно, не будет, но виртуальная певица, проходящая сквозь живого артиста будет выглядеть нелепо…

Но самое главное и обидное в этом методе, зрители НЕ ВИДЯТ ИСПОЛНИТЕЛЯ НА СЦЕНЕ! Все прекрасное изображение строится только на экране монитора. Поэтому использовать этот метод можно (и нужно) только для записи клипов или концертов в стиле квази Live (как бы живой концерт), когда, несмотря на наличие сцены и зрителей (как правило, немногочисленных) все затачивается под студийную запись.

К слову, начиная года с 2016, нередко на концертах можно видеть и проекцию (для зрителей в зале) и компьютерную модель (для телезрителей). В частности на концерте китайских вокалоидов 2017 г было именно так. К сожалению, в этих случаях телезрители видят раздвоенного исполнителя (хорошо видно на скриншотах китайского концерта), хотя операторы и пытаются свести этот эффект к минимуму.

Вокалоиды на концертах. Перспективы визуализации

Собственно говоря, с 2010 года, когда нам показали, так называемую, «голограмму» — проекцию, принципиально ничего нового не случилось.
Улучшилось сглаживание, увеличилась частота кадров, сильно расширился экран, кое-где появилось даже два экрана, но принцип остался неизменным — двухмерная проекция.

Проблемой оставалось отсутствие технологий, обеспечивающих вывод голографического изображения в свободном пространстве и засилье псевдо-голограмм. Знаменитые голограммы в цилиндрах по сути голограммами тоже не являются. Вам просто показывают двухмерную картинку с той стороны, с какой вы на нее посмотрите.

Но не все настолько плохо. Спасение идет из той же Японии. Причем проблему решают с 2006 года, а в 2011 году появилась работающая технология создания изображения в свободном пространстве без дисплея!

Спасителями выступили Национальный институт передовой промышленной науки и технологии — AIST, университет Keio и Burton Inc. (Может кто знает их мотоциклы Kawasaki). Суть метода в том, что импульсы лазера в невидимом глазом спектре фокусируясь в определенной точке пространства переводят атомы азота воздуха в активное состояния и те излучают свет.

На скрине сверху видно крыло бабочки (сама бабочка прорисовывается не сразу), которая летала на высоте 2 — 3 метров. 

Конечно, видео не очень впечатляет, но учитывая, что прошло уже больше 5 лет с момента его опубликования и это только первые шаги, можно с уверенностью сказать, что будущее за визуализацией с помощью голограмм в свободном пространстве. К сожалению, пока этот метод так и не получил дальнейшего развития и  информации о дальнейших разработках нет.

Хореография на живом концерте вокалоидов

Как же создаются танцы, которые исполняют Мику Хатсуне и другие вокалоиды во время своих выступлений?
Понятно, работает профессиональный хореограф, а потом?

Уверен, что многие сразу вспомнили про программу MikuMikuDance и, конечно же, ошиблись.
Проблема в том, что для того, чтобы создать танец вручную в этой программе, понадобится хорошее знание анатомии («кости» в этой программе не имеют физиологических ограничений и их можно крутить как угодно), отличное пространственное мышление и очень, очень много времени.

Давно уже MikuMikuDance дружит с сенсором захвата движений Kinnect, но, любой, кто его использовал подтвердит, что захват происходит очень не точно, тонкие движения пальцев не захватываются и править моушен (файл танца для 3d модели) придется ненамного меньше, чем его создавать с нуля.

Поэтому, начиная с самого первого концерта, движения модели не программировали, а захватывали с живого профессионального танцора с помощью продвинутой системы сенсоров.

Рассмотрим процесс на примере комплекса PERCEPTION NEURON.

На танцора одевается специальный костюм с 32-мя взаимосвязанными датчиками. Датчики фиксируют положение и движения головы, шеи, плеч, груди, талии, обеих рук, пальцев обеих рук, ног, большого пальца обеих стоп.
Система может посылать данные на компьютер через порт USB, с помощью Wi-Fi или писать данные прямо на флешку.

Данные обрабатываются программой AXIS Neuron для их корректировки, исправления возможных ошибок и преобразования в большинство самых популярных форматов для управления и разработки 3-d моделей, в том числе и для MikuMikuDance.

Сенсоры выглядят следующим образом:

Особенно сложны сенсоры на кистях. Возможно их расположение на предметах (например палочка, как на видео выше)

Но все эти системы позволяют записывать движения в файл и потом, обработав на компьютере, использовать в концерте или клипе.
Концерт — живое действо, Мику обращается к зрителям по заданной программе и, как правило, все проходит более-менее нормально. Но вот на злополучном концерте в Кансае, когда у Мику внезапно пропал голос, организаторам весьма пригодилась бы обратная связь

Но совсем недавно, в сеть попал клип, который прошел совсем незамеченным. Вернее, Мику Хатсуне просто выступила в качестве Ди Джея.
На самом деле, это было испытание системы Li-VR, при котором проекция Мику управлялась живым человеком в реальном времени. В процессе шоу был сбой звука и живая реакция Мику была весьма кстати!

Таким образом и в плане хореографии намечается прорыв. Возможно, совсем скоро, Мику или другие вокалоиды (точнее те, кто управляет голограммой-проекцией) будут общаться со зрителями вживую и адекватно реагировать на непредвиденные моменты в зале.

Кстати! Все чаще используется искусственный интеллект для анализа реакции зрителей и соответствующей реакции виртуального исполнителя!
К сожалению, все зависит от продюсеров концертов и их заинтересованности.

P.S. Я упомянул, что MMD в серьезных концертах не используется. Но отдельные концерты проводятся чисто под движком MMD и без сопровождения живых музыкантов. Несколько лет назад была целая серия концертов Hatsune Appearans.
Тем не менее, популярность у этих концертов была очень невелика и информации о новых на настоящий момент нет…

Иллюстрация вверху: Дина Б
Если будут дополнения или исправления, оставьте пожалуйста, в комментариях!