Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Напряженное слушание заставило людей напрячь ушные мышцы Напряженное слушание заставило людей напрячь ушные мышцы

Как ушные мышцы, отвечающие за шевеление ушей, реагируют на напряженное слушание

N+1
Как тренироваться в мороз Как тренироваться в мороз

Улица — отличное место для тренировки даже зимой

Maxim
Раскрыт секретный рецепт римского бетона, который пережил тысячелетия Раскрыт секретный рецепт римского бетона, который пережил тысячелетия

Чем состав и технология производства римского бетона отличались от современного

Inc.
Шон Мендес: «Мне хочется донести до людей, что счастье мое не в статусе, а в музыке» Шон Мендес: «Мне хочется донести до людей, что счастье мое не в статусе, а в музыке»

Шон Мендес рассказал GQ, как перезапустил карьеру и задумался о здоровье психики

GQ
Что вас бесит больше всего: психологический тест с выбором картинки Что вас бесит больше всего: психологический тест с выбором картинки

Пройдите тест и узнайте, от чего может исходить ваша агрессия!

ТехИнсайдер
Правила жизни Итана Хоука Правила жизни Итана Хоука

Правила жизни актера Итана Хоука

Esquire
Бизнес, которому не страшен кризис: как тесть и зять стали миллиардерами благодаря свалкам битых машин Бизнес, которому не страшен кризис: как тесть и зять стали миллиардерами благодаря свалкам битых машин

Владельцы свалок аварийных машин из Далласа создали идеальную бизнес-модель

Forbes
Девушка из «Завтрака у Тиффани»: как Маргарет Литтман вдохновила Трумена Капоте и собрала миллионы долларов на борьбу с ВИЧ Девушка из «Завтрака у Тиффани»: как Маргарет Литтман вдохновила Трумена Капоте и собрала миллионы долларов на борьбу с ВИЧ

Какой была Маргарет Литтман — прообраз героини Хепберн в «Завтраке у Тиффани»

Forbes
Танцевала перед Scorpions: как Екатерина Шпица стала актрисой Танцевала перед Scorpions: как Екатерина Шпица стала актрисой

10 неожиданных фактов об актрисе Екатерине Шпице

Cosmopolitan
Гигантских летучих кускусов предложили разделить на три вида Гигантских летучих кускусов предложили разделить на три вида

Ученые предложили разделить гигантских летучих кускусов на три вида

N+1
Маленький человек 2.0 Маленький человек 2.0

«Человек из Подольска» — кафкианская история с фальшивым хеппи-эндом

Weekend
«Жизнь Чаки» — ранее не опубликованный рассказ Стивена Кинга, который экранизирует Даррен Аронофски. Публикуем его фрагмент «Жизнь Чаки» — ранее не опубликованный рассказ Стивена Кинга, который экранизирует Даррен Аронофски. Публикуем его фрагмент

Отрывок из нового сборника рассказов Стивена Кинга «Будет кровь»

Esquire
Самые яркие моменты из жизни Диего Марадоны Самые яркие моменты из жизни Диего Марадоны

Карьерные триумфы, провалы и наркозависимость Диего Марадоны

GQ
Правила жизни Виктора Сухорукова Правила жизни Виктора Сухорукова

Правила жизни актера Виктора Сухорукова

Esquire
Как студент Физтеха попал в инвестфонд и получил право распоряжаться миллиардами рублей Как студент Физтеха попал в инвестфонд и получил право распоряжаться миллиардами рублей

История успеха управляющего партнера «ТилТех Капитала» Андрея Кобякова

Forbes
Ученые, ставшие фантастами: Стивен Эриксон и Адам Пшехшта Ученые, ставшие фантастами: Стивен Эриксон и Адам Пшехшта

Ученые Стивен Эриксон и Адам Пшехшта стали фантастами. Рассказываем о них

Популярная механика
Профессор Гарвардской школы бизнеса назвал самые большие ошибки компаний, переходящих на удаленку Профессор Гарвардской школы бизнеса назвал самые большие ошибки компаний, переходящих на удаленку

Ошибки, которые совершают компании, которые переходят на удаленку

Inc.
Пластичность мозга Пластичность мозга

Потрясающие факты о том, как мысли способны менять структуру и функции мозга

kiozk originals
Как забота о пожилых родителях может обернуться диктатурой Как забота о пожилых родителях может обернуться диктатурой

В чем разница между заботой и «причинением добра»?

Psychologies
9 актеров, у которых есть реквизит из знаменитых фильмов 9 актеров, у которых есть реквизит из знаменитых фильмов

Как говорится, мелочь, а потом можно продать за кучу денег!

Maxim
10 самых памятных выступлений «Гражданина поэта» в исполнении Михаила Ефремова 10 самых памятных выступлений «Гражданина поэта» в исполнении Михаила Ефремова

Отрывки из проекта «Гражданин хороший» с участием Михаила Ефремова

Maxim
Если есть желание, присоединяйтесь! Если есть желание, присоединяйтесь!

Как избежать недопонимания и недоразумений?

Psychologies
Самый лучший компьютер, которого ни у кого не было: краткая история NeXT Самый лучший компьютер, которого ни у кого не было: краткая история NeXT

Как выглядел прадед iOS

Maxim
Второй пол Второй пол

Феминистская классика о том, как из женщины сделали «другой» пол

kiozk originals
Когда лень полезна. Отрывок из книги психолога Марины Мелия Когда лень полезна. Отрывок из книги психолога Марины Мелия

Психолог объясняет, что такое лень и чем она отличается от прокрастинации

СНОБ
В чем стратегический просчет Путина и Сечина В чем стратегический просчет Путина и Сечина

История с добычей нефти на арктическом шельфе выбивается из мирового контекста

СНОБ
Интервью с художественным руководителем ЦИМа Дмитрием Волкостреловым Интервью с художественным руководителем ЦИМа Дмитрием Волкостреловым

Дмитрий Волкострелов — о феномене большой русской литературы

СНОБ
«Не один дома: Естественная история нашего жилища от бактерий до многоножек, тараканов и пауков» «Не один дома: Естественная история нашего жилища от бактерий до многоножек, тараканов и пауков»

Отрывок из книги об организмах, живущих по соседству с нами в наших домах

N+1
Расизм в науке Расизм в науке

Книга «Превосходство» прослеживает пусть истории науки о расах

kiozk originals
Боль и агрессия в сексе — это нормально? Боль и агрессия в сексе — это нормально?

Отрывок из книги Натальи Фомичевой «Близость»

СНОБ
Открыть в приложении