Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поддержать здоровье костей и сохранить костную массу с возрастом Как поддержать здоровье костей и сохранить костную массу с возрастом

Как поддержать высокую плотность костной ткани в организме?

Популярная механика
Капитан из Кёпеника: как прусский мошенник-рецидивист стал народным героем Капитан из Кёпеника: как прусский мошенник-рецидивист стал народным героем

Фридрих Вильгельм Фойгт — вор-рецидивист, взявший в командование гвардейцев

Esquire
Зачем закрывать приложения на смартфоне: борьба с цифровыми вампирами Зачем закрывать приложения на смартфоне: борьба с цифровыми вампирами

Вы когда-нибудь замечали, что ваш смартфон внезапно начинает нагреваться?

ТехИнсайдер
Новый Lexus LX. Спокойный среди бурь Новый Lexus LX. Спокойный среди бурь

Новый Lexus LX вам наверняка понравится

4x4 Club
Одно из самых опасных транспортных средств: как погибла Мэри Уорд — первая в мире жертва автомобильного ДТП Одно из самых опасных транспортных средств: как погибла Мэри Уорд — первая в мире жертва автомобильного ДТП

Кто такая Мэри Уорд и как она связана с первым в мире ДТП

ТехИнсайдер
На всю жизнь! Звездные стрижки, которые хорошо смотрятся в любом возрасте На всю жизнь! Звездные стрижки, которые хорошо смотрятся в любом возрасте

Какие стрижки будут актуальны и в 20, и в 50+ лет

VOICE
Как стать сильнее, когда вокруг хаос: 8 рецептов антихрупкости Как стать сильнее, когда вокруг хаос: 8 рецептов антихрупкости

Кризисы неизбежны, вопрос лишь в том, каким образом они на нас влияют

Psychologies
Домашний бэкап-сервер: основы Домашний бэкап-сервер: основы

Что важно знать для создания домашнего сервера для резервного копирования

CHIP
Что не так с хорошими ученицами? Что не так с хорошими ученицами?

Почему представление об успехе и хорошей самооценке отличниц — миф

Psychologies
Антиэйдж: говорит наука Антиэйдж: говорит наука

Какие из популярных теорий продления молодости действительно работают?

Домашний Очаг
Как растянуть севшую после стирки вещь: что делать с хлопком и шерстью Как растянуть севшую после стирки вещь: что делать с хлопком и шерстью

Как восстановить севшую после стирки вещь

VOICE
«Синдром предков»: когда прошлое семьи вредит вашему настоящему «Синдром предков»: когда прошлое семьи вредит вашему настоящему

Синдром предков — влияние на жизнь бессознательных семейных сценариев

Psychologies
7 онлайн-сервисов, помогающих найти психотерапевта 7 онлайн-сервисов, помогающих найти психотерапевта

Несколько сервисов, которые помогут подобрать специалиста по психотерапии

Esquire
Британский художник Мэт Коллишоу — о метавселенной и поведении птиц Британский художник Мэт Коллишоу — о метавселенной и поведении птиц

Художник Мэтом Коллишоу — как манипулирование связано с эволюцией

РБК
Как научиться носить каблуки: секреты красивой походки Как научиться носить каблуки: секреты красивой походки

Нужно научиться правильно ходить на каблуках? Мы поможем тебе в обучении!

VOICE
Не кешбэком единым Не кешбэком единым

Седьмое ежегодное исследование, посвященное развитию туризма российских регионов

Отдых в России
Почему некоторые люди умеют петь, а другие делают это плохо Почему некоторые люди умеют петь, а другие делают это плохо

Музыкальные способности — это талант, с которым рождаются, или нет?

Популярная механика
«Все страньше и страньше» «Все страньше и страньше»

Как теория относительности, рок-н-ролл и научная фантастика определили XX век

N+1
Почему Эйнштейн не сослался на опыт Майкельсона? Почему Эйнштейн не сослался на опыт Майкельсона?

Максвелл не сомневался, что всё пространство во Вселенной заполнено эфиром

Наука и жизнь
Выплывают расписные: почему современные королевы носят «кокошники» Выплывают расписные: почему современные королевы носят «кокошники»

Кокошники остались не только в музеях, но и в королевских сокровищницах

Cosmopolitan
Факты об осьминогах: удивительные животные, о которых практически ничего не знают даже прожженные умники Факты об осьминогах: удивительные животные, о которых практически ничего не знают даже прожженные умники

У осьминогов три сердца, голубая кровь и необычный механизм защиты от хищников

Популярная механика
8 вещей родом из СССР, которые актуальны и сегодня 8 вещей родом из СССР, которые актуальны и сегодня

Вещи родом из СССР, часть из которых наверняка пылится где-то у тебя дома

Cosmopolitan
«Жалею, что мою сестру не отдали в детский дом» «Жалею, что мою сестру не отдали в детский дом»

Что делать, если мать стремится переложить обязанности на других детей?

Psychologies
Археологи обнаружили древнейшие свидетельства использования охры в Восточной Азии Археологи обнаружили древнейшие свидетельства использования охры в Восточной Азии

Ученые раскопали стоянку, возраст которой около 40 тысяч лет

N+1
Холст, масло, арест. Как искусство больше 100 лет становится заложником политики и идеологии Холст, масло, арест. Как искусство больше 100 лет становится заложником политики и идеологии

История международных и локальных, музейных и политических арт-дел

Esquire
Первооткрыватели CRISPR/Cas9 остались без патента на технологию в США Первооткрыватели CRISPR/Cas9 остались без патента на технологию в США

Решение по спору между создателями системы редактирования генома CRISPR/Cas9

N+1
От эпиляции до больших губ: какие процедуры косметологи никогда не делают себе От эпиляции до больших губ: какие процедуры косметологи никогда не делают себе

В косметологии постоянно появляются новые процедуры, обещающие вау-эффект

VOICE
Что делать, если вас раздражают привычки партнера? Что делать, если вас раздражают привычки партнера?

Претензии по мелочам могут подточить даже самые крепкие отношения

Psychologies
История сахара, сладкая и горькая: откуда взялась привычная нам сладость и как она изменила мир История сахара, сладкая и горькая: откуда взялась привычная нам сладость и как она изменила мир

Книга Питера Макинниса «История сахара: сладкая и горькая»

Esquire
Археологи обнаружили в Тунисе стоянку среднего каменного века Археологи обнаружили в Тунисе стоянку среднего каменного века

Археологи обнаружили на юге Туниса стоянку древних людей

N+1
Открыть в приложении