Как выяснилось, концерт «SNOW MIKU LIVE! 2018» стал полем для нескольких визуальных экспериментов Crypton.

В основе экспериментов была 3DCG модель Мику Хатсуне.
Она была была представлена на выставке во время Magical Mirai 2017 ,  так называемая „17model“ от Nana.

Тестировалась система R3, суть которой в управления 3DCG-моделью в режиме реального времени. Это технология, которая позволяет персонажу 3DCG танцевать и петь (имеется в виду артикуляция) в соответствии с музыкой. Появилась возможность управлять или моделировать поведение персонажа в соответствии с реакцией зрителей во время живого выступления.

Те, кто был на нескольких шоу, возможно, заметил, что Мику каждый раз двигалась и реагировала немного по разному.  Я порекомендую изучить предложенное видео повнимательнее.

В эпизоде, когда Мику предлагает зрителям петь с ней песню Rolling Girl ее поведение не было запрограммировано. Она каждый раз контактировала с разной аудиторией и реагировала по разному. К сожалению, нет возможностей сравнить ее поведение на разных концертах, но, как я понял, в этот момент моделью управлял живой человек.

Кроме того, в начале этой песни использовался следующий эффект — когда на Мику падал луч прожектора — она появлялась, когда он гас — Мику погружалась в тень. То есть использовалась интерактивная схема проекции модели, в зависимости от ее освещенности внешним источником света.

Так же во время концерта использовалась, так называемая, лирическая анимация, в котором тексты песен по технологиям «TextAlive», появлялись на крупноформатном дисплее в верхней части сцены и украшали шоу.

Ниже представлено иллюстрирующее видео:

В число экспериментов было добавление фоновой анимации. Так в «Снежной сказке» появилось фоновое изображение с использованием технологии «Songrium 3 D», которая сочетает музыку с трехмерной компьютерной графикой. А в песне «Round a square earth» использовались фоновые изображения с помощью «TextAlive»!

Таким образом, похоже, что в отсутствие голографических технологий Crypton сосредоточил работы над интерактивными визуальными эффектами в том числе и касающихся поведения модели на сцене.

Собственно об этом уже говорили в статье Как Мику попадает на сцену, но, похоже, в технологиях интерактивного поведения намечается прорыв. Причем как в режиме «ручного управления» так и в полностью программном исполнении.

К сожалению, информацию я брал с японского сайта, поэтому возможны некоторые неточности. Можете попробовать перевести сами http://blog.crypton.co.jp/l/2018/02/23-sm18live/