Компания Meta выпустила языковую модель, которая понимает устную речь

N+1Hi-Tech

Нейросеть от Meta (признана экстремистской организацией на территории РФ) узнает 4017 языков по устной речи и ответит на 1107 из них

Она обучалась на библейских текстах

Виктория Земляк

036d47669be5b6a9ee36339f7fab444e.jpg
Torre de Babel (Вавилонская башня). Pieter Brueghel the Elder / Wikimedia Commons

Компания Meta (признана экстремистской организацией на территории РФ)* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta (признана экстремистской организацией на территории РФ) считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе.

*Деятельность компании Meta запрещена в России.

Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них.

Команда инженеров из компании Meta (признана экстремистской организацией на территории РФ) под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями.

fe065aa4c134af4b7f5dca22405e1e58.jpg
Карта языков, которые поддерживает модель. Фиолетовые и зеленые: определение языка, только фиолетовые: превращение речи в текст. Auli et al. / research.facebook, 2023

Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Военторг Чарли Военторг Чарли

Как в перерывах между вечеринками американский конгрессмен развалил СССР

Дилетант
Ушли в минус Ушли в минус

Зачем автопроизводители выпускают холодильники

Автопилот
Языки любви: что это такое и как с их помощью укрепить отношения? Языки любви: что это такое и как с их помощью укрепить отношения?

Какие бывают языки любви, как определить свой язык любви и язык партнера

ТехИнсайдер
«Зиллениалы» — это люди между поколениями зуммеров и миллениалов. Интересный факт! «Зиллениалы» — это люди между поколениями зуммеров и миллениалов. Интересный факт!

Зиллениалы — что это за люди на стыке поколений?

ТехИнсайдер
Американская комиссия по расследованию НЛО отчиталась о проделанной работе: названы характеристики неопознанных объектов Американская комиссия по расследованию НЛО отчиталась о проделанной работе: названы характеристики неопознанных объектов

Пока не выявлено ничего, что могло бы свидетельствовать о внеземной активности

ТехИнсайдер
Алексей Никитин Алексей Никитин

Алексей Никитин с детства мыслил кадрами, структурирующими истории

Правила жизни
Как защитить уличную мебель от непогоды: 6 советов по уходу Как защитить уличную мебель от непогоды: 6 советов по уходу

Как следить за уличной мебелью, чтобы она прослужила долгие годы?

ТехИнсайдер
«5 уроков, которые я извлекла из психотерапии»: личный опыт «5 уроков, которые я извлекла из психотерапии»: личный опыт

Даже те, кто идет в психологи, не сразу могут оценить пользу психотерапии

Psychologies
Что посмотреть в ближайшем зарубежье: Узбекистан, Казахстан, Монголия Что посмотреть в ближайшем зарубежье: Узбекистан, Казахстан, Монголия

Кристина Резникова собрала гид по соседним с Россией безвизовым странам

РБК
Неприкосновенный запас Неприкосновенный запас

История тушенки и сгущенки насчитывает чуть более двух веков

Вокруг света
Как общаться с человеком, который все время спорит? Как общаться с человеком, который все время спорит?

Возможно ли вообще добиться конструктивного диалога со спорящим собеседником?

Psychologies
Попугаи научились звонить сородичам по видеосвязи — и вот как это изменило домашних птиц Попугаи научились звонить сородичам по видеосвязи — и вот как это изменило домашних птиц

Без общения с себе подобными страдают не только люди

Вокруг света
Одна вокруг света: сибирское лето в Южной Америке и пляж морских львов Одна вокруг света: сибирское лето в Южной Америке и пляж морских львов

217-я серия о кругосветном путешествии москвички Ирины Сидоренко: Буэнос-Айрес

Forbes
Миссия: металл Миссия: металл

Зонд Psyche должен будет осмотреть целиком металлический мир

ТехИнсайдер
Странные факты о саке, которое вовсе не водка Странные факты о саке, которое вовсе не водка

Саке премиального качества появилось только во второй половине XX века

Maxim
Сплести свою жизнь заново Сплести свою жизнь заново

О сложностях исцеления от длительного травматического опыта

Psychologies
7 приложений для сна, которые помогут высыпаться лучше 7 приложений для сна, которые помогут высыпаться лучше

Попробуйте скачать одно из этих приложений, чтобы сон стал более эффективным

CHIP
Что посмотреть в ближайшем зарубежье: Киргизия, Армения, Грузия Что посмотреть в ближайшем зарубежье: Киргизия, Армения, Грузия

Раскрываем явки и пароли по Киргизии, Армении и Грузии

РБК
Направленная эволюция: ученые сделали колонии дрожжей в 20 000 раз крупнее и в 10 000 раз прочнее Направленная эволюция: ученые сделали колонии дрожжей в 20 000 раз крупнее и в 10 000 раз прочнее

Ученые проводят долгосрочный эксперимент по эволюции в лабораторных условиях

ТехИнсайдер
Натуральное автохозяйство Натуральное автохозяйство

Импортозамещение, технологический суверенитет и другие актуальные понятия

Автопилот
«Зона интересов»: каким получился фильм Джонатана Глейзера про холокост «Зона интересов»: каким получился фильм Джонатана Глейзера про холокост

Самый долгожданный участник Каннского фестиваля — парализующий фильм ужасов

Правила жизни
Застольное многоголосье: как традиция грузинского хорового пения возвышает скромную пирушку до шедевра мировой культуры Застольное многоголосье: как традиция грузинского хорового пения возвышает скромную пирушку до шедевра мировой культуры

Запись одной из застольных песен Грузии бороздит просторы Вселенной

Вокруг света
Лучшие лайфхаки для дома и не только: 7 удивительных применений суперклея Лучшие лайфхаки для дома и не только: 7 удивительных применений суперклея

Некоторые лайфхаки могут показаться вам странными, однако они правда работают!

ТехИнсайдер
Как была устроена армия Древнего Рима: сплошной стройбат и дедовщина Как была устроена армия Древнего Рима: сплошной стройбат и дедовщина

Как был устроен римский легион?

Maxim
Как в России появились первые покровители художников и возникла мода на меценатство Как в России появились первые покровители художников и возникла мода на меценатство

Меценаты, которые оставили своим потомкам внушительное наследство

СНОБ
Деменция на подходе: как распознать болезнь — 8 признаков Деменция на подходе: как распознать болезнь — 8 признаков

Как не пропустить деменцию?

Psychologies
Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков Пять болевых точек российских финансов: что тревожит ЦБ и аналитиков

Банк России назвал пять главных уязвимостей финансового сектора России

Forbes
«Кроссовки продаются вместе с Тицианом»: Екатерина Макдугалл о современных аукционах «Кроссовки продаются вместе с Тицианом»: Екатерина Макдугалл о современных аукционах

Зачем аукционные дома выстраивают вокруг себя целые экосистемы

Forbes
Трезвый подход к романтическим отношениям: советы коуча Трезвый подход к романтическим отношениям: советы коуча

Как разглядеть человека и не дать эмоциям заглушить голос разума?

Psychologies
Как открыть свое сердце: советы Илсе Санд Как открыть свое сердце: советы Илсе Санд

Почему мы находим тысячу аргументов, чтобы не сокращать дистанцию?

Psychologies
Открыть в приложении