Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Аналог ацтекского омичикауацтли из человеческой кости выявили среди находок из Техаса Аналог ацтекского омичикауацтли из человеческой кости выявили среди находок из Техаса

Какие ацтекские артефакты обнаружили на юге Техаса

N+1
«Александра Трусова. Девочка, победившая гравитацию» – книга о феномене фигурного катания «Александра Трусова. Девочка, победившая гравитацию» – книга о феномене фигурного катания

Книга про падения, четверные прыжки и встречу с Ириной Родниной

GQ
Каким мог стать Ту-204: как советские конструкторы искали идеальный авиалайнер Каким мог стать Ту-204: как советские конструкторы искали идеальный авиалайнер

За 15 лет видение о том, каким должен быть Ту-204, несколько раз менялось

ТехИнсайдер
Здоровый мазохизм: в чем его польза Здоровый мазохизм: в чем его польза

Мазохизм — очень важный механизм для получения удовольствия

Psychologies
Как научиться принимать комплименты Как научиться принимать комплименты

Почему бывает трудно принимать комплименты и как с этим справиться

Inc.
Разводы в британской королевской семье: письмо Елизаветы II Диане и cлёзы обеих Разводы в британской королевской семье: письмо Елизаветы II Диане и cлёзы обеих

Вспоминаем разводы членов британской королевской семьи

Cosmopolitan
Может ли убить рублевая монета, упавшая с крыши небоскреба Может ли убить рублевая монета, упавшая с крыши небоскреба

Может ли монета, упавшая с крыши здания, нанести серьезную травму черепа?

Популярная механика
«Hello World. Как быть человеком в эпоху машин» «Hello World. Как быть человеком в эпоху машин»

Отрывок из книги Ханна Фрай о том, какой властью наделены алгоритмы

N+1
Кто инициировал путь «из варяг в греки»? Кто инициировал путь «из варяг в греки»?

Путь «из варяг в греки» стал главным для формирования древнерусского государства

Культура.РФ
Заха Хадид. Гостья из будущего Заха Хадид. Гостья из будущего

«Любой ее проект — невиданная новость, и каждый — отважнее предыдущего»

Караван историй
Диана Арбенина — о современной зарубежной литературе, нелюбви к запятым и о том, что общего между писательством и написанием музыки Диана Арбенина — о современной зарубежной литературе, нелюбви к запятым и о том, что общего между писательством и написанием музыки

Интервью с Дианой Арбениной

Esquire
«Почему я плету индейские мандалы» «Почему я плету индейские мандалы»

Это древнее рукоделие помогло нашей героине пережить большое горе

Psychologies
Новое исследование объяснило, почему потребители считают красивую еду более полезной Новое исследование объяснило, почему потребители считают красивую еду более полезной

Эстетически привлекательную пищу мы считаем более здоровой

Inc.
Ученые нашли способ сделать бытовую технику компактнее Ученые нашли способ сделать бытовую технику компактнее

Разработка, которая позволит сделать основные компоненты приборов намного меньше

Популярная механика
7 загадочных артефактов, созданных человечеством 7 загадочных артефактов, созданных человечеством

Как были созданы эти предметы? Кем? И главное — зачем?

Maxim
Отверженная и очень опасная: лучшие фильмы с Амандой Сейфрид Отверженная и очень опасная: лучшие фильмы с Амандой Сейфрид

Аманда Сейфрид за последние годы сделала стремительный профессиональный рывок

Cosmopolitan
Искала одного, выбрала другого: чему меня научили свидания Искала одного, выбрала другого: чему меня научили свидания

Читательница поделилась опытом первых свиданий с людьми, встреченными онлайн

Psychologies
Как штурмовать замок: инструкция для начинающего завоевателя Как штурмовать замок: инструкция для начинающего завоевателя

Как покорить свой первый замок и каких ошибок следует избегать во время осады

Популярная механика
Александр Великий Александр Великий

Македонец, покоривший мир

kiozk originals
6 вещей в твоем базовом гардеробе, которые давно пора обновить 6 вещей в твоем базовом гардеробе, которые давно пора обновить

Предлагаем тебе перебрать вещи в шкафу!

Cosmopolitan
Право сломаться: почему тебе не должно быть стыдно за свою слабость Право сломаться: почему тебе не должно быть стыдно за свою слабость

Марта Кетро объясняет, почему депрессии не нужно стыдиться

Cosmopolitan
Интервью: Софико Шеварднадзе — о своей дебютной книге, о пандемии и об эпохе неопределенности Интервью: Софико Шеварднадзе — о своей дебютной книге, о пандемии и об эпохе неопределенности

Журналистка Софико Шеварнадзе о том, как изменился мир вокруг нас

Esquire
Предков индейцев пуэбло уличили в топлении льда для выживания во время засух Предков индейцев пуэбло уличили в топлении льда для выживания во время засух

Необычный источник воды помог коренным американцам выжить в засушливом климате

N+1
Сайонара, Walmart: как крупнейший мировой ретейлер разочаровался в Японии Сайонара, Walmart: как крупнейший мировой ретейлер разочаровался в Японии

Какое будущее ожидает Walmart в стране самураев после почти 20 лет неудач?

Forbes
«Никто не понимает, на чём мы зарабатываем. И слава богу!»: чем примечателен бизнес Fix Price с оценкой в $6 млрд «Никто не понимает, на чём мы зарабатываем. И слава богу!»: чем примечателен бизнес Fix Price с оценкой в $6 млрд

Рассказываем, что известно о сети Fix Price, ее владельцах и доходах

VC.RU
Вечерний алкоголь и частые перекусы: 4 безболезненных способа избавиться от вредных привычек Вечерний алкоголь и частые перекусы: 4 безболезненных способа избавиться от вредных привычек

Пора взяться за себя!

Playboy
Естественные роды после кесарева невозможны и другие мифы о родах и беременности Естественные роды после кесарева невозможны и другие мифы о родах и беременности

Вокруг родов и беременности давно сложилась своя мифология

Cosmopolitan
Битва дискаунтеров: как «Магнит» и X5 Retail Group конкурируют на рынке супердешевых товаров Битва дискаунтеров: как «Магнит» и X5 Retail Group конкурируют на рынке супердешевых товаров

Через пять лет на жесткие дискаунтеры будет приходиться 10% розницы

Forbes
Топ-10 горных вершин мира: покорителям высот Топ-10 горных вершин мира: покорителям высот

Подробный гайд для будущих покорителей вершин

Популярная механика
Бегущая по волне Бегущая по волне

Милла Йовович — о сильных героинях, дочке-актрисе и модных сокровищах в гараже

Vogue
Открыть в приложении