Нейросеть научилась переводить текст на жестовый язык

Невероятный прогресс в науке для людей с ограничениями по слуху!

В Университете Суррея создали нейросеть, превращающую текст в видео с сурдопереводчиком, который произносит ту же речь, но на языке жестов. Прежним аналогам не удавалось изобразить кисти рук так качественно, а именно они важны в этом языке. О научном прорыве сообщает N+1, ссылаясь на arXiv.org

Алгоритм принимает текст, затем преобразует его в скелетную модель тела, которая иллюстрирует жесты сурдопереводчика. После всего нейросеть преобразовывает позы в видео.

Для того, чтобы обучить нейросеть, потребовалось 386 записей сурдоперевода с аннотациями на немецком телеканале. После синтеза видеоряда алгоритм проверяет выполненную работу. Именно поэтому результат получился такой впечатляющий.

Нейросеть уже протестирована 46 добровольцами, почти треть из которых — носители жестового языка. В большинстве случаев ей были выставлены высшие оценки. Инновационная разработка поможет автоматизировать сурдоперевод для разных событий и прямых эфиров.

Наука меняет мир и стремится к тому, чтобы в нем было комфортно каждому.