Еще в 2018 году Вокалоид IA поучаствовала во второй конференции AI-EXPO, посвященной искусственному интеллекту, что прошел 4-6 апреля в Токио! (оф.сайт — яп).

На стенде лаборатории Monogokoro на примере вокалоида продемонстрировали, как можно оценить реакцию слушателей и, соответственно, запрограммировать реакцию виртуального исполнителя.
Речь идет о, так называемом, невербальном, то есть не связанным с речью анализом обстановки по алгоритму, разработанному лабораторией Monogokoro.

Суть метода в следующем — камера и микрофон фиксируют и анализирует поведение зрителей, их количество, как громко они аплодируют, поднимают ли руки. На основании данных ИИ принимает решение о том или ином поведении виртуальной исполнительницы.

Демонстрация происходила в режиме реального времени. Во время первого выступления, экспериментатор попросил всех проходить мимо, не обращая внимания на вокалоида. В результате IA очень расстроилась.

Во втором случае вокалоид получил в ответ бурные аплодисменты и реакция у него была совсем другой!

Надо сказать, что это далеко не первые эксперименты по интерактивному поведению вокалоидов на сцене. Так на зимнем концерте SNOW MIKU LIVE! 2018 были продемонстрированы кое-какие инновации.

Разработчики обещали в следующем году привезти свои наработки с использованием машинного обучения. Так что, концерты вроде бы обещали быть интереснее и интереснее.

К слову, в отличие от невербальных реакций, в позапрошлом году лаборатория показала посетителям Tokyo 2016 Advanced Content Technology Exhibition систему, реагирующую на слова, жесты и мимику. Персонаж на экране улыбался, когда его хвалили, обижался, когда говорили грубые слова. Поклоны и жесты так же были логично связаны. Со слов экспериментаторов, система узнала одного из испытателей, со словами — «Господин, вы пришли снова?»

Таким образом ИИ учится распознавать и генерировать эмоции и перед организаторами концертов виртуальных певцов открываются новые горизонты. НО, прошло уже почти 6 лет и абсолютно ничего из этих наработок не пошло в работу. Печально...