Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Астероиды: рожденные пламенем» «Астероиды: рожденные пламенем»

Как ученые научились анализировать состав астероидов

N+1
Отрывок из книги Патриции Черчленд «Совесть. Происхождение нравственной интуиции» Отрывок из книги Патриции Черчленд «Совесть. Происхождение нравственной интуиции»

Глава из книги Патриции Черчленд, посвященная равновесию в суждениях

СНОБ
Ученые превратили тараканов в киборгов, наделив их способностями для спасательных операций Ученые превратили тараканов в киборгов, наделив их способностями для спасательных операций

Тараканы-киборги — идеальные помощники для спасательных операций

Inc.
Специальная номинация «Настоящий герой сериалов 2020 года» от more.tv: Константин Богомолов Специальная номинация «Настоящий герой сериалов 2020 года» от more.tv: Константин Богомолов

Константин Богомолов в кадре, за кадром, на сцене и в реальной жизни

GQ
«Эффект кислого винограда»: как неудачи и страх провала мешают нам исполнять мечты «Эффект кислого винограда»: как неудачи и страх провала мешают нам исполнять мечты

Почему мы бессознательно обесцениваем то, что раньше вдохновляло?

Forbes
5 писателей-фантастов, предсказавших будущее 5 писателей-фантастов, предсказавших будущее

Этим авторам удалось предвидеть тенденции развития нашего мира

Популярная механика
Психиатрия: что спровоцировало болезнь Кэтрин Зеты-Джонс Психиатрия: что спровоцировало болезнь Кэтрин Зеты-Джонс

Кэтрин Зета-Джонс считает, что ментальных проблем нельзя стыдиться

Cosmopolitan
История ярмарок в России История ярмарок в России

Как менялись развлечения — от забав скоморохов с медведями до концертов Шаляпина

Культура.РФ
Андрей Алексеенко: «Кровеносная система» бизнеса. Почему предпринимателям нужно обратить внимание на аналитику данных Андрей Алексеенко: «Кровеносная система» бизнеса. Почему предпринимателям нужно обратить внимание на аналитику данных

Рынок аналитики данных развивается стремительными темпами

СНОБ
Греко-болгарская схизма: парад церковных суверенитетов Греко-болгарская схизма: парад церковных суверенитетов

Как появилась национальная церковь на Балканах

Weekend
Сладкая несладкая жизнь Сладкая несладкая жизнь

Учёные нашли ещё одно доказательство негативного влияния сахара на наше здоровье

Здоровье
Украла роль, увела мужа, избила и прокляла: как враждовали советские актрисы Украла роль, увела мужа, избила и прокляла: как враждовали советские актрисы

Рассказываем о пяти парах актрис, которые буквально ненавидели друг друга

Cosmopolitan
Взломанный робот-пылесос подслушал разговоры при помощи лазера Взломанный робот-пылесос подслушал разговоры при помощи лазера

Инженеры изобрели метод распознавания звуков с помощью робота-пылесоса

N+1
Как выиграть переговоры: 4 секрета от бывшего агента ФБР Как выиграть переговоры: 4 секрета от бывшего агента ФБР

Эти советы обязательно помогут тебе в жизни

Playboy
5 типов «кошатников» по версии экологов 5 типов «кошатников» по версии экологов

Считаете ли вы, что ваш «усатый-полосатый питомец» — животное домашнее?

Psychologies
5 мифов про космос, в которые мы верим из-за фантастических фильмов 5 мифов про космос, в которые мы верим из-за фантастических фильмов

Какие мифы про космос распространялись благодаря режиссерам

Maxim
Бумажные полотенца и средство для мытья посуды помогли удалить токсичные химикаты с кожи Бумажные полотенца и средство для мытья посуды помогли удалить токсичные химикаты с кожи

Как эффективно удалить токсичные загрязнения с кожи

N+1
Кто инициировал путь «из варяг в греки»? Кто инициировал путь «из варяг в греки»?

Путь «из варяг в греки» стал главным для формирования древнерусского государства

Культура.РФ
«Яндекс» раскрыл 38 принципов, которых придерживается в работе «Яндекс» раскрыл 38 принципов, которых придерживается в работе

«Яндекс» сформулировал 38 принципов, которым следуют их сотрудники в работе

Inc.
Старое лучше нового: 5 причин выбрать бабушкино платье Старое лучше нового: 5 причин выбрать бабушкино платье

Объясняем, почему винтажная одежда оказывается лучше новой и зачем ее покупать

Cosmopolitan
Ядовитые косматые хомяки оказались моногамными Ядовитые косматые хомяки оказались моногамными

Зоологам впервые удалось понаблюдать за социальной жизнью этих грызунов

N+1
4 ловушки на дороге, в которые может попасть каждый водитель 4 ловушки на дороге, в которые может попасть каждый водитель

Как водители попадают в неприятные истории на дороге?

РБК
Естественные роды после кесарева невозможны и другие мифы о родах и беременности Естественные роды после кесарева невозможны и другие мифы о родах и беременности

Вокруг родов и беременности давно сложилась своя мифология

Cosmopolitan
Чтобы дважды не вставать Чтобы дважды не вставать

Редактор Glamour проверила на себе новшества пластической хирургии

Glamour
Чем болели президенты США (втайне от простых американцев) Чем болели президенты США (втайне от простых американцев)

Кто основал среди американских лидеров традицию болеть

Maxim
6 вещей в твоем базовом гардеробе, которые давно пора обновить 6 вещей в твоем базовом гардеробе, которые давно пора обновить

Предлагаем тебе перебрать вещи в шкафу!

Cosmopolitan
Заха Хадид. Гостья из будущего Заха Хадид. Гостья из будущего

«Любой ее проект — невиданная новость, и каждый — отважнее предыдущего»

Караван историй
Мадрид: от рассвета до заката Мадрид: от рассвета до заката

Давай отправимся в гастрономический марафон по испанской столице

Лиза
23 классические шутки Марка Твена 23 классические шутки Марка Твена

Вспоминаем великие цитаты Марка Твена

Maxim
Умная почка Умная почка

Почки создают условия для высокой эффективности работы клеток всех органов

Наука и жизнь
Открыть в приложении