Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Доставка в космос: как на орбиту доставляют малые грузы и зачем там дата-центр Доставка в космос: как на орбиту доставляют малые грузы и зачем там дата-центр

Возможна ли доставка квадрокоптерами не на близлежащую улицу, а в космос?

Популярная механика
Кухонный психолог Кухонный психолог

Как помочь близким, решившим тебе довериться, и не навредить

Лиза
Что такое «зима искусственного интеллекта» и когда ее ждать Что такое «зима искусственного интеллекта» и когда ее ждать

Что происходит во время «зимы искусственного интеллекта»?

ТехИнсайдер
Как понять, кто ты, и наладить отношения с самим собой Как понять, кто ты, и наладить отношения с самим собой

Что делать, если вырос неуверенным человеком?

РБК
Как научиться принимать комплименты Как научиться принимать комплименты

Почему бывает трудно принимать комплименты и как с этим справиться

Inc.
Самые жуткие места с призраками в мире Самые жуткие места с призраками в мире

Эти места способны одним своим видом напугать до мурашек

Cosmopolitan
Лазерное омоложение: мифы и реальность Лазерное омоложение: мифы и реальность

Разбираем самые популярные заблуждения о лазерном омоложении

РБК
Пять способов защитить автомобиль от угона, не считая сигнализации Пять способов защитить автомобиль от угона, не считая сигнализации

Как нестандартно защитить машину от угона?

Maxim
Юлия Бордовских: «Женщина не стареет, она взрослеет» Юлия Бордовских: «Женщина не стареет, она взрослеет»

Юлия Бордовских — о новой профессии, отношении к возрасту и идеалах красоты

Здоровье
Как выжить и преуспеть в эпоху перемен, не выгорая и не впадая в отчаяние Как выжить и преуспеть в эпоху перемен, не выгорая и не впадая в отчаяние

Отрывок книги «Стратегии перемен» Джона Коттера

Forbes
От любопытства до победы От любопытства до победы

Евгения Иванова о принципах работы программы “Самоучка”

ПУСК
«Я потерял смысл жизни»: как быть, если последние события в мире лишили вас чего-то важного «Я потерял смысл жизни»: как быть, если последние события в мире лишили вас чего-то важного

Почему нельзя называть какие-либо утраты — неважными

Psychologies
История худи: утилитарность, протест, модное высказывание — и не только История худи: утилитарность, протест, модное высказывание — и не только

Полная история предмета, который есть практически в каждом гардеробе

Esquire
Пища для мозга: 7 продуктов, которые делают нас Пища для мозга: 7 продуктов, которые делают нас

Из-за некоторой пищи наш мозг устаёт и работает намного хуже, чем мог бы

Популярная механика
Не ждем, а готовимся: что делать, если вас уволили Не ждем, а готовимся: что делать, если вас уволили

Что делать, если вас незаконно уволили, и как компенсировать моральный вред

СНОБ
Я тебя вижу: как устроены карманные шпионы и почему проблема цифровой слежки масштабнее, чем кажется Я тебя вижу: как устроены карманные шпионы и почему проблема цифровой слежки масштабнее, чем кажется

Технологии могут как обеспечить приватность, так и разрушить личное пространство

Популярная механика
Эксплуатация феминизма: как «Убивая Еву» превратился в скучный сериал о шпионках Эксплуатация феминизма: как «Убивая Еву» превратился в скучный сериал о шпионках

Почему остроумный шпионский сериал превратился в эксплуатацию феминизма

Forbes
Что делать, если AirPods не подключаются к устройству: инструкция Что делать, если AirPods не подключаются к устройству: инструкция

Что делать, если не получается подключить беспроводные наушники от Apple

Популярная механика
«Он меня не отпускает»: почему бывает так трудно выйти из отношений «Он меня не отпускает»: почему бывает так трудно выйти из отношений

Как уйти, если он не отпускает?

Psychologies
Здоровое тело: 10 привычек стройных людей, о которых мало кто знает Здоровое тело: 10 привычек стройных людей, о которых мало кто знает

Стройность — это образ жизни! И ему вполне можно научиться

Популярная механика
Красота и жертвы: пластический хирург о неудачных операциях и их последствиях Красота и жертвы: пластический хирург о неудачных операциях и их последствиях

Чем может обернуться ринопластика, маммопластика и блефаропластика?

VOICE
5 простых способов сэкономить, которые помогут выжить 5 простых способов сэкономить, которые помогут выжить

5 действенных способов сэкономить деньги

Популярная механика
Зачем ученые стреляют лазером в Луну и при чем тут гравитационные волны? Зачем ученые стреляют лазером в Луну и при чем тут гравитационные волны?

Как Луну можно использовать в качестве гигантского детектора гравитационных волн

Популярная механика
5 признаков того, что ваша кошка скучает. Вот как с этим справиться 5 признаков того, что ваша кошка скучает. Вот как с этим справиться

Если кошка начинает скучать, это сказывается на ее хозяевах

Популярная механика
Возможно, именно поэтому извержение вулкана на Тонге было таким мощным Возможно, именно поэтому извержение вулкана на Тонге было таким мощным

Вулкан выбросил шлейф газа, пыли и пепла, который улетел на 58 километров в небо

Популярная механика
Просто быть в искусстве. О программах и попечителях главного театра страны Просто быть в искусстве. О программах и попечителях главного театра страны

О работе Фонда попечителей Большого театра

СНОБ
Ничего не бойся: 13 правил жизни сильной женщины Ничего не бойся: 13 правил жизни сильной женщины

Что действительно важно помнить в те дни, когда опускаются руки

VOICE
История сахара, сладкая и горькая: откуда взялась привычная нам сладость и как она изменила мир История сахара, сладкая и горькая: откуда взялась привычная нам сладость и как она изменила мир

Книга Питера Макинниса «История сахара: сладкая и горькая»

Esquire
Кит, стадо коров, офтальмологическая клиника: 10 невероятных грузов, перевезенных самолетами Кит, стадо коров, офтальмологическая клиника: 10 невероятных грузов, перевезенных самолетами

Порой встречаются примеры авиаперевозок, не поддающиеся никакой классификации

ТехИнсайдер
Железная леди американской дипломатии: какой была Мадлен Олбрайт Железная леди американской дипломатии: какой была Мадлен Олбрайт

Мадлен Олбрайт умерла 23 марта 2022 года на 85-м году жизни

Forbes
Открыть в приложении