В прошлом году разработчики из Тель-Авивского университета создали алгоритм, позволяющий анимировать мимику лица на портретах. Технологии не стоят на месте, и теперь в Вашингтонском университете разработали новый алгоритм.
Он способен на основе двумерного изображения создавать полноценное движение с выбеганием человека за пределы фотографий!
Как работает алгоритм?
Сначала фотография обрабатывается нейросетью Mask R-CNN, где распознается область с человеком, которую отделяют от фона. Затем другой алгоритм представляет человека как двумерную модель скелета. Следующий алгоритм создает реалистичный фон, откуда человека «вырезали».
После проделанной работы создается трехмерная модель, которая в состоянии совершать движения.
Существует два режима алгоритма: в первом создается обычная анимация на мониторе, а в другом есть возможность выводить ее в дополнительную реальность.
Это позволит превратить обычную картину на стене в интерактивную! Мир Гарри Поттера ближе, чем мы думаем! Что еще смогут придумать разработчики? Может шоколадную лягушку, способную прыгать от тебя в противоположном направлении? :)