Let’s play: Facebook превратил записи матчей в игру

И нам это нравится!

Будущее уже здесь, и нейросеть тому доказательство. Разработчики из Facebook Al Research разработали алгоритм, который позволяет пользователям управлять движениями человека на видео, а также менять фон. Как это возможно? Рассказываем.

В основе программы лежат два алгоритма: Pose2Pose и Pose2Frame. Потом, разработчики добавили еще один алгоритм – DensePose. Если проще: последний алгоритм позволяет извлекать из двухмерного кадра трехмерную модель движущегося объекта. Pose2Pose делает из исходной фигуры движущегося человека на записи трехмерную модель на черном фоне.  Этот же алгоритм позволяет пользователю задавать получившейся 3D модели различные команды, которые «заставляют двигаться» модель. На заключительном этапе подключается Pose2Frame. С помощью этого алгоритма уже измененная модель и возвращается обратно в видео с новыми движениями.

На выходе получается что-то среднее между реальностью и компьютерной игрой. В результате этих несложных операций, получаются очень реалистичные ролики. В Facebook возможности нейросети решили продемонстрировать с помощью старых записей теннисных матчей. Вот теннисист играет на пустом корте, а вот уже в паре с другим теннисистом. Он также может двигаться в заданную сторону и менять движения руками, как при командах в компьютерной игре. И это всего за два клика мышкой. Похоже, такие технологии будут очень востребованы в индустрии компьютерных игр. Конечно, еще требуется доработка, но зато теперь в новой FIFA можно будет играть не компьютерными персонажами, а настоящими Неймаром или Роналду.

Созданные алгоритмы обещают в скором времени дать и нам, простым пользователям, возможность «фотошопить» не только фото, но и видео фоны. Представь себе: можно записать целое видео у Эйфелевой башни, не выходя из дома! Или сразиться с драконом, стоит всего лишь найти нужный видеоролик и поставить его фоном. До чего же дошел прогресс…

Пока неизвестно, когда точно разработчики Facebook запустят программу в действие, и как скоро мы сможем сами воспользоваться такими алгоритмами. Но режим Хатико уже включен;)