Будущее уже здесь, и нейросеть тому доказательство. Разработчики из Facebook (запрещенная в России экстремистская организация) Al Research разработали алгоритм, который позволяет пользователям управлять движениями человека на видео, а также менять фон. Как это возможно? Рассказываем.

В основе программы лежат два алгоритма: Pose2Pose и Pose2Frame. Потом, разработчики добавили еще один алгоритм – DensePose. Если проще: последний алгоритм позволяет извлекать из двухмерного кадра трехмерную модель движущегося объекта. Pose2Pose делает из исходной фигуры движущегося человека на записи трехмерную модель на черном фоне.  Этот же алгоритм позволяет пользователю задавать получившейся 3D модели различные команды, которые «заставляют двигаться» модель. На заключительном этапе подключается Pose2Frame. С помощью этого алгоритма уже измененная модель и возвращается обратно в видео с новыми движениями.

На выходе получается что-то среднее между реальностью и компьютерной игрой. В результате этих несложных операций, получаются очень реалистичные ролики. В Facebook (запрещенная в России экстремистская организация) возможности нейросети решили продемонстрировать с помощью старых записей теннисных матчей. Вот теннисист играет на пустом корте, а вот уже в паре с другим теннисистом. Он также может двигаться в заданную сторону и менять движения руками, как при командах в компьютерной игре. И это всего за два клика мышкой. Похоже, такие технологии будут очень востребованы в индустрии компьютерных игр. Конечно, еще требуется доработка, но зато теперь в новой FIFA можно будет играть не компьютерными персонажами, а настоящими Неймаром или Роналду.

Созданные алгоритмы обещают в скором времени дать и нам, простым пользователям, возможность «фотошопить» не только фото, но и видео фоны. Представь себе: можно записать целое видео у Эйфелевой башни, не выходя из дома! Или сразиться с драконом, стоит всего лишь найти нужный видеоролик и поставить его фоном. До чего же дошел прогресс…

Пока неизвестно, когда точно разработчики Facebook (запрещенная в России экстремистская организация) запустят программу в действие, и как скоро мы сможем сами воспользоваться такими алгоритмами. Но режим Хатико уже включен;)