Нейросети смогут анимировать персонажей по видеороликам

Ученые из США и Канады разработали нейросетевой фреймворк, с помощью которого виртуальных персонажей будут обучать движениям с видео, где эти движения совершают люди. Алгоритм определяет элементы человеческого тела, согласует данные с других кадров, затем передает все данные в нейросетьНейросеть пытается повторить каждое движения и таким образом обучается их выполнять. Статьи в которых описан механизм можно найти на SIGGRAPH Asia 2018.

Для того, чтобы реальный робот или виртуальный персонаж научился реальным движениям, были разработаны разнообразные подходы. Самый очевидный вариант — запрограммировать персонажа вручную, дав точную инструкцию к каждому действию. Но затраты сил и времени будут колоссальны, а результат подойдет только для решении узких задач. Время идет и технологии не стоят на мести. Сейчас стало популярным машинное обучение, которое автоматизирует этот процесс, кроме того обучающаяся модель способна адаптировать программу к новым условиям.

В начале этого года, группа ученых из Лаборатории исследований искусственного интеллекта в Беркли, и Университета Британской Колумбии, показали алгоритм под названием DeepMimic. Алгоритм позволил обучать виртуальных персонажей сложным движениям при помощи нейросетей. Движения копировались с движений людей и исследователям удалось добиться внушительных результатов. Копирование было качественным, но в процессе они столкнулись с проблемой, которая заключалась в сложности подготовки исходных данных. Сложно было довести до совершенства алгоритм, который собирал данные при помощи системы захваты движения. Он был ограничен определенным спектром собираемых движений.

Алгоритм пережил некоторые изменения, ученым удалось добавить в него обновления благодаря которым, теперь можно было получить движения из не размеченных видео. Вот как все проходило. Система получает видеоролик, на котором человек делает определенные движения, например сальто вперед или назад, а разработанный учеными алгоритм фиксирует каждый кадр и создает объемную модель человека в позе которую он заснял. Поскольку модель делается для каждого кадра, эти модели помещаются в следующий алгоритм который учитывая порядок кадров, устраняет все лишнее. Благодаря этому формируется плавно двигающаяся модель, которая используется для обучения персонажа.

DeepMimic сейчас активно используется в обучении нейросетевых персонажей действиям из видео. Система устроена таким образом, что за каждое правильное движения она поощряет нейросетевого персонажа, в итоге персонаж обучается выполнению большого количества сложных движений. Разница движений модели и человека минимальна. Разработчики применили ещё пару методов, что позволило ускорить и качественно улучшить обучение нейроситей, кроме того удалось рандомизировать начало движение модели. Теперь алгоритм лучше понимает систему движений и стремится к получению и повышению наград за более качественное движение.

Демонстрация возможностей алгоритма была внушительной. Разработчики заставили нейросеть учится не с каких-то специальных видео, а с видео взятых с YouTube. Можно было наблюдать как нейросеть пыталась повторить сложные движения из видео. Разработчики показали способность к вариативности у алгоритма, и умение подстраиваться под виртуального персонажа. Примером выступил человекоподобный робот Atlas. Он способен адаптироваться под окружение и выполнять действия, а так же двигаться по сложному рельефу преодолевая препятствия.

Была представлена ещё одна группа исследователей из США, которая научила нейросетевых персонажей сложным движениям с посторонними объектами. Им удалось сделать персонажа на основе нейросетей который обучился играть в баскетбол, на баскетбольной площадке выполняя разнообразные трюки. Это удалось сделать записывая движения реального человека с которого алгоритм и научил нейросеть.

Поделиться ссылкой:



Вас заинтересует