Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как узнать возраст кошки: простые способы Как узнать возраст кошки: простые способы

Есть несколько простых методов выяснить, сколько вашей кошке лет

Популярная механика
Федор Федотов. Мой Федор Федотов. Мой

Федор Федотов — о победе в «Ледниковом периоде» и о «Серебряных коньках»

Коллекция. Караван историй
Искусственные «лепестки» левитируют только за счет солнечного тепла Искусственные «лепестки» левитируют только за счет солнечного тепла

Как работает устройство, способное левитировать в мезосфере

ТехИнсайдер
Ангельская нумерология: что означает число 333 — подробная расшифровка Ангельская нумерология: что означает число 333 — подробная расшифровка

Бывало ли у тебя такое, что ты часто видела одно и то же число?

Cosmopolitan
«Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова «Был честен с собой и со своим ремеслом»: каким был путь в искусстве Карла Брюллова

Каким был путь в искусстве Карла Брюллова и как его показывают в музеях

Forbes
14 вредных привычек, которые стоят вам денег 14 вредных привычек, которые стоят вам денег

Львиная доля наших денег уходит на мелочи. Нам стоит пересмотреть свои привычки

Psychologies
Бизнес-завтрак C-Level: топ-менеджеры корпораций — о том, как привлекать и удерживать сильных управленцев в мартехе Бизнес-завтрак C-Level: топ-менеджеры корпораций — о том, как привлекать и удерживать сильных управленцев в мартехе

Что должны делать компании, чтобы успешно нанимать управленцев в мартехе

Inc.
История одного здания: новгородский «космический корабль» История одного здания: новгородский «космический корабль»

Как в городе древнерусской архитектуры появился памятник советского модернизма

Культура.РФ
Лазерное омоложение: мифы и реальность Лазерное омоложение: мифы и реальность

Разбираем самые популярные заблуждения о лазерном омоложении

РБК
Реальность против виртуального мира: как будут расширяться первые метавселенные Реальность против виртуального мира: как будут расширяться первые метавселенные

Метавселенные действительно существуют как технологическое и социальное явление

Популярная механика
Как избавиться от стресса: 3 совета от психолога Как избавиться от стресса: 3 совета от психолога

Чтобы помогать другим, нужно в первую очередь помочь себе — как это сделать?

Playboy
«Мне нужно время для себя»: как перестать говорить «да» в ущерб своим интересам «Мне нужно время для себя»: как перестать говорить «да» в ущерб своим интересам

Отрывок из книги Кристин Нефф «Внутренняя сила»

Forbes
Возможность острова Возможность острова

Фареры — это 18 небольших островов в северной части Атлантического океана

Seasons of life
Эмиграция: что бы вы сказали себе перед отъездом? Эмиграция: что бы вы сказали себе перед отъездом?

Наши герои, когда-то выбравшие эмиграцию, на удивление единодушны в ответах

Psychologies
Mazda CX-9. Неочевидное благородство Mazda CX-9. Неочевидное благородство

Лучшие модели автомобилей для России разрабатывались, как ни странно, в США

4x4 Club
Не пустой звук Не пустой звук

34 миллиона детей по всему миру страдают от проблем со слухом

Harper's Bazaar
Мы живем в террариуме, а на Марсе есть жизнь: 6 теорий заговора о космосе, в которые все еще верят Мы живем в террариуме, а на Марсе есть жизнь: 6 теорий заговора о космосе, в которые все еще верят

Может и правда на Луне никто не высаживался

Playboy
«Моя отрада»: как воспитывала сына Клара Гитлер «Моя отрада»: как воспитывала сына Клара Гитлер

Какой была мать Адольфа Гитлера и как она воспитывала сына?

Cosmopolitan
Почему нам трудно расстаться с советским прошлым? Почему нам трудно расстаться с советским прошлым?

Какие черты советского человека и сегодня мешают жить достойно

Psychologies
3 вида патриотизма: в чем отличия? 3 вида патриотизма: в чем отличия?

Что считать патриотизмом: верность Отечеству или разумную критику?

Psychologies
Как оптимизировать свой Mac для игр: 4 секрета Как оптимизировать свой Mac для игр: 4 секрета

На устройствах с macOS действительно можно комфортно играть

Популярная механика
Из чайника или бутылки? Из чайника или бутылки?

5 главных мифов о питьевой воде

Лиза
Все о витамине B12: зачем он нужен, как распознать и восполнить дефицит Все о витамине B12: зачем он нужен, как распознать и восполнить дефицит

Витамин В12 играет важную роль для гормональных и метаболических процессов

РБК
Спаси котика! Как помочь бездомному животному, если ты не можешь взять его себе Спаси котика! Как помочь бездомному животному, если ты не можешь взять его себе

Что может сделать каждая из нас для помощи кошкам, живущим на улице

VOICE
Я и моя тень: Ревва, Малышева и еще 5 звезд, у которых есть близнецы и двойняшки Я и моя тень: Ревва, Малышева и еще 5 звезд, у которых есть близнецы и двойняшки

Близнецы и двойняшки знаменитостей, о которых вы, скорее всего, не слышали

VOICE
Различий в субъективных переживаниях от ЛСД и псилоцибина почти не нашлось Различий в субъективных переживаниях от ЛСД и псилоцибина почти не нашлось

Как различается эффект ЛСД и псилоцибина?

N+1
11 правил хорошей смерти 11 правил хорошей смерти

Что мы можем сделать для того, чтобы завершить свою жизнь достойно?

Psychologies
Что такое депрессия, и как с ней жить: 5 главных вопросов о тяжелом психическом заболевании Что такое депрессия, и как с ней жить: 5 главных вопросов о тяжелом психическом заболевании

Из-за чего возникает депрессия и как с ней жить?

Популярная механика
Какая река самая длинная? Ответ не так прост Какая река самая длинная? Ответ не так прост

Длина реки больше не считается справедливой мерой

Популярная механика
5 находок, которые сделали людей миллионерами 5 находок, которые сделали людей миллионерами

Эти истории доказывают, что удача может поджидать вас где угодно

Популярная механика
Открыть в приложении