Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поддержать здоровье костей и сохранить костную массу с возрастом Как поддержать здоровье костей и сохранить костную массу с возрастом

Как поддержать высокую плотность костной ткани в организме?

Популярная механика
Магомет идет к горе Магомет идет к горе

Мобильная станция, в которой содержится около 7–8 т различных видов масел

Популярная механика
Я, мы, робот: как андроиды проникли в наши дома и головы Я, мы, робот: как андроиды проникли в наши дома и головы

О том, как роботы медленно, но верно становятся частью нашей жизни

Forbes
История одного здания: Дом трех Бенуа в Петербурге История одного здания: Дом трех Бенуа в Петербурге

Дом трех Бенуа стал одним из самых больших и благоустроенных зданий в Петербурге

Культура.РФ
Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов

Как две девушки сделали бизнес на блюдах с яйцами?

Forbes
«Пока смерть не разлучит нас»: что нужно знать о многолетних отношениях «Пока смерть не разлучит нас»: что нужно знать о многолетних отношениях

Как меняются отношения со временем

Psychologies
План побега: как уйти из ситуации домашнего насилия План побега: как уйти из ситуации домашнего насилия

Памятка, которая поможет справиться с домашним насилием

Psychologies
9 жутких и загадочных водоемов мира 9 жутких и загадочных водоемов мира

Что страшного таят темные воды?

Популярная механика
Братья Третьяковы. За великую заслугу пред Москвою... Братья Третьяковы. За великую заслугу пред Москвою...

Был Третьяков человеком непафосным, избегал публичности и похвал в свой адрес

Караван историй
Как быстро упаковать вещи: 10 лайфхаков для экстренного переезда Как быстро упаковать вещи: 10 лайфхаков для экстренного переезда

Возьми себя в руки и продумай переезд

Playboy
Со сцены на фронт: какие актрисы СССР воевали во время Великой Отечественной Со сцены на фронт: какие актрисы СССР воевали во время Великой Отечественной

Мало кто подозревает, через что прошли эти девушки, прежде чем блистать в кино

Cosmopolitan
Женщина, которая помнит все: невероятная история 31-летней Ребекки Женщина, которая помнит все: невероятная история 31-летней Ребекки

Оказывается, в том, чтобы досконально помнить всю свою жизнь, есть масса минусов

Psychologies
70 вдохновляющих цитат о силе и независимости женщин 70 вдохновляющих цитат о силе и независимости женщин

Предлагаем вдохновиться цитатами о силе и независимости женщин

Cosmopolitan
Биоархеологи выяснили рацион людей из погребения в уборной римской термы Биоархеологи выяснили рацион людей из погребения в уборной римской термы

Древние люди из Шотландии питались в основном наземной пищей

N+1
6 отечественных фильмов, получивших «Оскар» 6 отечественных фильмов, получивших «Оскар»

Как развивались отношения отечественного кинематографа и «Оскара»

РБК
Как воскресить мамонта: ДНК поможет ученым оживить шерстистого гиганта Как воскресить мамонта: ДНК поможет ученым оживить шерстистого гиганта

Можно ли воссоздать мамонта и отправить его заселять Якутию?

Популярная механика
Золото городов Золото городов

Владимирская область — один из древнейших центров формирования русской культуры

Отдых в России
Аспирант Крокодила и время джаза Аспирант Крокодила и время джаза

О первых достижениях воспитанников российской физической школы

N+1
Метаматериалы помогут решать уравнения со скоростью света Метаматериалы помогут решать уравнения со скоростью света

Американские физики спроектировали компактный оптический аналоговый вычислитель

N+1
Инвазивные жабы начали убивать мадагаскарских змей Инвазивные жабы начали убивать мадагаскарских змей

Мадагаскарские ужи массово погибают от инвазивного вида жаб

N+1
Дом Дорна, Дорн дома Дом Дорна, Дорн дома

Иван Дорн: новая квартира, оформленная женой Анастасией, и история их романа

Vogue
Самые распространенные мифы и заблуждения о Древней Греции Самые распространенные мифы и заблуждения о Древней Греции

Спартанцы сбрасывали детей в пропасть, все статуи и постройки были белыми

Maxim
Приказано: выжить Приказано: выжить

«Все плохо» – такими бывают ощущения родителей и их детей на пике пубертата

Psychologies
Отрывок из переизданного романа Людмилы Улицкой «Медея и ее дети» Отрывок из переизданного романа Людмилы Улицкой «Медея и ее дети»

Отрывок одного из самых известных романов Людмилы Улицкой

СНОБ
Самые популярные «китайцы». Что выпускает Haval на заводе под Тулой Самые популярные «китайцы». Что выпускает Haval на заводе под Тулой

Haval — самая востребованная марка из КНР в России

РБК
Стартапы, которые спасут нашу планету: экологический техпарад Стартапы, которые спасут нашу планету: экологический техпарад

Компании задумываются о том, как спасти Землю от глобального потепления

Популярная механика
Сергей Бескоровайный: «Виноделие — это процесс эмпирический» Сергей Бескоровайный: «Виноделие — это процесс эмпирический»

Основатель винодельни «Бельбек» об избытке государственного регулирования

Forbes
10 признаков того, что тебе не хватает железа 10 признаков того, что тебе не хватает железа

Как понять, в норме ли твой гемоглобин

VOICE
Наращиваем мускулы: что такое креатин и зачем он нужен Наращиваем мускулы: что такое креатин и зачем он нужен

Хочешь быть самой сильной в спортзале? Поможет креатин

Cosmopolitan
15 лучших советских детективных фильмов и сериалов 15 лучших советских детективных фильмов и сериалов

Самые яркие творения советского кинематографа про криминал и расследования

Maxim
Открыть в приложении