Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

#пронауку: 8 аргументов в пользу веганства #пронауку: 8 аргументов в пользу веганства

Разбираемся, почему люди активно переходят на растительный рацион

РБК
Эволюция русалочки: нужен ли под водой темный цвет кожи Эволюция русалочки: нужен ли под водой темный цвет кожи

Существует ли эволюционная выгода для русалок от темной кожи под водой?

СНОБ
«Молчи, а то (не) сбудется»: верна ли теория о материализации мыслей? «Молчи, а то (не) сбудется»: верна ли теория о материализации мыслей?

Откуда появляется убеждение, что если произнести вслух опасения, то оно сбудется

Psychologies
Неприкосновенный запас Неприкосновенный запас

История тушенки и сгущенки насчитывает чуть более двух веков

Вокруг света
Толщина женской коры мозга оказалась меньше мужской в странах с гендерным неравенством Толщина женской коры мозга оказалась меньше мужской в странах с гендерным неравенством

Как гендерное неравенство сказывается на человеческом мозге?

N+1
История на свалке: эти вещи закопали в XVI веке из-за подозрения, что владельцы заражены чумой История на свалке: эти вещи закопали в XVI веке из-за подозрения, что владельцы заражены чумой

Люди так боялись заразиться чумой, что выбрасывали даже серебряные монеты

Вокруг света
«Монастырь и тюрьма» «Монастырь и тюрьма»

Места заключения в Западной Европе и в России от Средневековья до модерна

N+1
«Плейлист волонтера»: почему это один из лучших сериалов о поиске пропавших без вести «Плейлист волонтера»: почему это один из лучших сериалов о поиске пропавших без вести

Зачем смотреть сериал и почему это одна из лучших историй про розыск людей

Forbes
Алексей Горбут Алексей Горбут

Горбут — знаток, последователь и апологет золотого века американских комиксов

Правила жизни
Аккумуляторная независимость Аккумуляторная независимость

TI решил расспросить экспертов о том, какова сейчас ситуация с литием в России

ТехИнсайдер
Комнатную сверхпроводимость при умеренном давлении воспроизвести не удалось Комнатную сверхпроводимость при умеренном давлении воспроизвести не удалось

Эксперименты с проверкой комнатной сверхпроводимости прошли рецензирование

N+1
Мечтать не вредно Мечтать не вредно

Свежие идеи для бизнеса

Автопилот
Больцман на танцполе Больцман на танцполе

Исследовали ли физики мош? Я вышел в интернет с таким вопросом

N+1
Права на мотоцикл: что надо знать для получения категории «А» Права на мотоцикл: что надо знать для получения категории «А»

Что нужно, чтобы стать мотоциклистом?

РБК
Не только поесть: 5 причин, которые заставляют нас регулярно посещать кафе и рестораны Не только поесть: 5 причин, которые заставляют нас регулярно посещать кафе и рестораны

Как владельцы заведений получают выгоду, играя на наших чувствах

Вокруг света
Две группы физиков смоделировали неабелевы энионы на квантовых компьютерах Две группы физиков смоделировали неабелевы энионы на квантовых компьютерах

Опубликованы результаты по симуляции неабелевых энионов на квантовом процессоре

N+1
Как лучше худеть — быстро или медленно? Эксперты все объяснили! Как лучше худеть — быстро или медленно? Эксперты все объяснили!

У специалистов есть объяснение, почему спешить с похудением не нужно

ТехИнсайдер
Непрерывную речь декодировали по фМРТ Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1
«Качество видео второстепенно, важнее — реалистичность»: как работает будка для звонков от Logitech за $20 тысяч «Качество видео второстепенно, важнее — реалистичность»: как работает будка для звонков от Logitech за $20 тысяч

Разработчики продолжили улучшать решения для видеозвонков. И вот что сделали

VC.RU
Палеонтологи подтвердили существование муста у мамонтов Палеонтологи подтвердили существование муста у мамонтов

Самцы мамонтов, как и современные слоны, были способны испытывать муст

N+1
Почему футболисты получают так много денег? Почему футболисты получают так много денег?

Почему футболисты так много зарабатывают? Объяснение от банка Великобритании

Maxim
Хулоки Скайуокера проснулись пораньше ради фруктов на завтрак Хулоки Скайуокера проснулись пораньше ради фруктов на завтрак

Хулоки Скайуокера способны планировать свое будущее

N+1
Мелатонин Мелатонин

Мелатонин управляет нашим самочувствием, здоровьем и качеством жизни

Здоровье
Чем труднее задача, тем глубже морщинка между бровей Чем труднее задача, тем глубже морщинка между бровей

Как реагируют определенные мышцы лица, когда человек размышляет

ТехИнсайдер
Я — сноб: режиссер Олег Трофим Я — сноб: режиссер Олег Трофим

Режиссер Олег Трофим: чем он гордится и без чего не представляет свой день?

СНОБ
Как блогеру не попасть под статью. Юридический чек-лист Как блогеру не попасть под статью. Юридический чек-лист

Какие у блогеров есть риски и как их снизить, чтобы не попасть под статью

Inc.
Книга Надежды: как поддержать себя и родных при страшном диагнозе Книга Надежды: как поддержать себя и родных при страшном диагнозе

«Утро наступает всегда» — рассказ о том, как жить с тяжелым диагнозом

Psychologies
Как правильно создавать промпты для ChatGPT: несколько простых правил Как правильно создавать промпты для ChatGPT: несколько простых правил

Рассказываем о том, как правильно составлять запросы для ChatGPT

CHIP
В Москве похоронили журналиста Эдуарда Сагалаева. Чем он известен В Москве похоронили журналиста Эдуарда Сагалаева. Чем он известен

Какое отношение частный телеканал Эдуарда Сагалаева «ТВ-6» имел к КГБ

СНОБ
Почему фильм «Убийца “Священный паук”» можно назвать культурным феноменом Почему фильм «Убийца “Священный паук”» можно назвать культурным феноменом

Интересный взгляд эмигранта на родную страну в фильме «Убийца “Священный паук”»

СНОБ
Открыть в приложении