Ежедневный пророк: теперь изображения на фотографиях смогут двигаться

Фотографии из Гарри Поттера теперь существуют в реальном мире!

В прошлом году разработчики из Тель-Авивского университета создали алгоритм, позволяющий анимировать мимику лица на портретах. Технологии не стоят на месте, и теперь в Вашингтонском университете разработали новый алгоритм.

Он способен на основе двумерного изображения создавать полноценное движение с выбеганием человека за пределы фотографий!

Как работает алгоритм?

Сначала фотография обрабатывается нейросетью Mask R-CNN, где распознается область с человеком, которую отделяют от фона. Затем другой алгоритм представляет человека как двумерную модель скелета. Следующий алгоритм создает реалистичный фон, откуда человека «вырезали».

После проделанной работы создается трехмерная модель, которая в состоянии совершать движения.

Фото
Chung-Yi Weng et al. (arXiv.org 2018)

Существует два режима алгоритма: в первом создается обычная анимация на мониторе, а в другом есть возможность выводить ее в дополнительную реальность.

Это позволит превратить обычную картину на стене в интерактивную! Мир Гарри Поттера ближе, чем мы думаем! Что еще смогут придумать разработчики? Может шоколадную лягушку, способную прыгать от тебя в противоположном направлении? :)