Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Заряженные капли отказались разбрызгиваться при ударе о твердую поверхность Заряженные капли отказались разбрызгиваться при ударе о твердую поверхность

Электричество вокруг заряженной капли предотвращает ее разбрызгивание

N+1
10 эффектных сцен, незаслуженно вырезанных из фильмов 10 эффектных сцен, незаслуженно вырезанных из фильмов

Важные сцены, которые были отправлены в корзину, хотя они помогают понять сюжет

РБК
DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки DDoSтать до потолка: как и почему за 2024 год изменились сетевые кибератаки

Как изменился ландшафт DDoS и что этому способствовало

Forbes
«Луна. История будущего» «Луна. История будущего»

Отрывок из книги Оливера Мортона об естественном спутнике Земли

N+1
Вот почему люди стали использовать огонь — и приготовление пищи тут не при чем Вот почему люди стали использовать огонь — и приготовление пищи тут не при чем

Исследование, перечеркнувшее привычную картину: зачем люди приручили огонь

Inc.
«Услуги концентрации»: как заработать на том, что учишь людей работать «Услуги концентрации»: как заработать на том, что учишь людей работать

Как Молли Сонстенг учит людей концентрации и максимально продуктивной работе

Forbes
Смерть обсерватории Смерть обсерватории

После серии аварий «культовый» телескоп Arecibo может закрыться навсегда

Популярная механика
Брат средневековой пушки: начало истории автомобильных двигателей Брат средневековой пушки: начало истории автомобильных двигателей

Экскурс в историю двигателестроения

Популярная механика
Одежда из фильмов и сериалов, которую многие захотели носить, но лучше бы этого не делать Одежда из фильмов и сериалов, которую многие захотели носить, но лучше бы этого не делать

Спортивный костюм, как в «Джентльменах», идет только Колину Фарреллу

Maxim
Почему стандартные ванны обычно короче человеческого роста Почему стандартные ванны обычно короче человеческого роста

Рассказываем, кто и зачем придумал делать ванны короткими

Популярная механика
Фильм «Еще по одной» – страшно увлекательная ода алкоголизму с Мадсом Миккельсеном Фильм «Еще по одной» – страшно увлекательная ода алкоголизму с Мадсом Миккельсеном

Мрачноватый юмор и фирменный датский пессимизм в фильме «Еще по одной»

GQ
Чем болели президенты США (втайне от простых американцев) Чем болели президенты США (втайне от простых американцев)

Кто основал среди американских лидеров традицию болеть

Maxim
«Я провела три дня на полу не в состоянии подняться»: жестокая правда жизни стартапера «Я провела три дня на полу не в состоянии подняться»: жестокая правда жизни стартапера

Сколько физических и ментальных ресурсов уходит на то, чтобы не бросить стартап

Inc.
Три сыночка и лапочка-дочка: как складывается личная жизнь Саши Зверевой Три сыночка и лапочка-дочка: как складывается личная жизнь Саши Зверевой

10 фактов о Саше Зверевой

Cosmopolitan
10 культовых фильмов, которые должен посмотреть каждый 10 культовых фильмов, которые должен посмотреть каждый

Погружаемся в современную киноклассику

Esquire
Неудачник против везунчика Неудачник против везунчика

«Имя, сестра, имя!» — крылатая фраза из фильма «Д’Артаньян и три мушкетёра»

Дилетант
Как штурмовать замок: инструкция для начинающего завоевателя Как штурмовать замок: инструкция для начинающего завоевателя

Как покорить свой первый замок и каких ошибок следует избегать во время осады

Популярная механика
13 крутейших танцев в фильмах в исполнении крутых мужских персонажей 13 крутейших танцев в фильмах в исполнении крутых мужских персонажей

Важная часть крутого мужского персонажа — умение сногсшибательно танцевать

Maxim
«Я подумаю об этом завтра» «Я подумаю об этом завтра»

Ирина Прохорова — об ответственности перед фамилией и желании стать волонтером

OK!
«Если ты играл с императором рояля, разве трудно сыграть с императрицей Японии?» «Если ты играл с императором рояля, разве трудно сыграть с императрицей Японии?»

Юрий Башмет – о первом концерте со Святославом Рихтером

GQ
Пангея завтрашнего дня: могут ли континенты снова объединиться Пангея завтрашнего дня: могут ли континенты снова объединиться

Пангея – не единственный суперконтинент в истории Земли

Популярная механика
Одержимость сексом: что делать, если партнер страдает зависимостью? Одержимость сексом: что делать, если партнер страдает зависимостью?

Возможно ли сохранить отношения, если у одного из партнеров зависимость от секса

Psychologies
Путешествие в Рождество Путешествие в Рождество

Подмосковный дом, которому позавидовал бы и сам Дед Мороз

AD
«Столкнулся с возражением? Давай, убей его»: почему авторитет, основанный на власти, больше не работает «Столкнулся с возражением? Давай, убей его»: почему авторитет, основанный на власти, больше не работает

Отрывок из книги Джослин Дэвис «Искусство мягкого влияния»

Forbes
Сын уборщицы и работника завода: как воспитывали родители Лионеля Месси Сын уборщицы и работника завода: как воспитывали родители Лионеля Месси

Лионель Месси родился в семье, где все были немного увлечены футболом

Cosmopolitan
Гудбай, Америка: 10 фактов о Христофоре Колумбе, которых вы не знали Гудбай, Америка: 10 фактов о Христофоре Колумбе, которых вы не знали

Все самые интересные факты о Христофоре Колумбе в нашей подборке

Популярная механика
Расстрел и Людмила Расстрел и Людмила

Неудачная попытка превратить советскую историю в античную трагедию

Weekend
Няня для ребенка: как найти хорошую помощницу? Няня для ребенка: как найти хорошую помощницу?

Советы для тех, кто планирует нанимать няню для помощи с ребенком

9 месяцев
Тацуо Такахаши. Я влюбился в борщ! Тацуо Такахаши. Я влюбился в борщ!

Тацуо Такахаши – о том, какими будут автомобили в недалёком будущем

4x4 Club
Как сложились судьбы детей свергнутых (или просто умерших) диктаторов современности Как сложились судьбы детей свергнутых (или просто умерших) диктаторов современности

Мурад Ниязов, Гульнара Каримова, Николае Чаушеску-младший — где они теперь?

Maxim
Открыть в приложении