Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Крионика: есть ли жизнь после заморозки? Крионика: есть ли жизнь после заморозки?

Крионика – это игра с малыми шансами, но с колоссальным джекпотом

Популярная механика
Древним жителям Лахиша приглянулись оливки и инжир Древним жителям Лахиша приглянулись оливки и инжир

Палеоботаники исследовали остатки растений эпохи бронзы

N+1
Разработана умная роботизированная инвалидная коляска Разработана умная роботизированная инвалидная коляска

Как умное кресло-коляска позволяет находить оптимальный путь к пункту назначения

ТехИнсайдер
«В тюрьму за глупости»: странные законы разных стран, о которых стоит знать туристам «В тюрьму за глупости»: странные законы разных стран, о которых стоит знать туристам

Незнание даже экзотических законов не освобождает от ответственности

Вокруг света
Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья? Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья?

Оказывают ли какой-то эффект палки в скандинавской ходьбе?

ТехИнсайдер

Истребитель 1970-х годов, который сохранил свою актуальность и по сей день

Популярная механика
Пишите дневники. Забытый способ борьбы с тревожностью Пишите дневники. Забытый способ борьбы с тревожностью

Как дневник помогает справиться с тревожностью и почему соцсети его не заменят

СНОБ
Как вы воспитываете своего ребенка? Как вы воспитываете своего ребенка?

Чтобы понять, какой вы воспитатель, предлагаем примерить на себя 16 ситуаций

Psychologies
Изобретения древних римлян, которые изменили мир Изобретения древних римлян, которые изменили мир

Какие изобретения древних римлян мы используем до сих пор?

Популярная механика
Эксплуатация феминизма: как «Убивая Еву» превратился в скучный сериал о шпионках Эксплуатация феминизма: как «Убивая Еву» превратился в скучный сериал о шпионках

Почему остроумный шпионский сериал превратился в эксплуатацию феминизма

Forbes
В лучшей форме В лучшей форме

Интерьер загородного дома, в котором всё подчинено здоровому образу жизни семьи

SALON-Interior
Пища из насекомых поможет создать безотходное сельское хозяйство Пища из насекомых поможет создать безотходное сельское хозяйство

Насекомые - отличный источник белка

Популярная механика
Строгость в СССР: что раньше запрещали школьницам, но теперь это в порядке вещей Строгость в СССР: что раньше запрещали школьницам, но теперь это в порядке вещей

Что и почему запрещали в школах Советского Союза?

Популярная механика
8 смертельных болезней, которые считались побежденными, но снова к нам вернулись 8 смертельных болезней, которые считались побежденными, но снова к нам вернулись

Холера, цинга, проказа и даже чума по-прежнему уносят жизни людей

Популярная механика
10 классных функций Telegram, о которых ты не знала 10 классных функций Telegram, о которых ты не знала

Самые классные функции Telegram, которые ты точно оценишь

Cosmopolitan
Лучший бармен и азартный спорщик: 5 малоизвестных фактов о Брюсе Уиллисе Лучший бармен и азартный спорщик: 5 малоизвестных фактов о Брюсе Уиллисе

Чего вы точно не знали о Брюсе Уиллисе

Популярная механика
Сделаем Плутон снова великим: почему астрономы выступают за возвращение ему статуса планеты Сделаем Плутон снова великим: почему астрономы выступают за возвращение ему статуса планеты

Плутон — планета или нет?

Популярная механика
Авторские камео в фильмах: секретные роли в Авторские камео в фильмах: секретные роли в

Вы точно не догадывались, кто исполнял эти маленькие роли

Популярная механика
Ко всем — нежно: как наладить отношения в паре. Интервью с психологом Ко всем — нежно: как наладить отношения в паре. Интервью с психологом

С какими трудностями встречаются влюбленные и как их правильно решать

РБК
На смерть Юза Алешковского На смерть Юза Алешковского

Писателя и поэта Юза Алешковского помнят по его антисоветским песням

СНОБ
Ключи от города Ключи от города

Ключ от города лежит у каждого из нас в кармане. Часто ли мы открываем им дверь?

Seasons of life
Чеховские страсти и японское спокойствие: чем хорош фильм Чеховские страсти и японское спокойствие: чем хорош фильм

"Сядь за руль моей машины" — в чем притягательность этого медитативного кино

Esquire
На вас напала стая бездомных собак: что важно знать и как себя вести — полезная памятка На вас напала стая бездомных собак: что важно знать и как себя вести — полезная памятка

Почему бродяги набрасываются на людей и что делать, если на вас напали?

Популярная механика
Не друг и не враг: какова изнанка отношений Турции и России и каким видит Стамбул свое место на политической карте мира? Не друг и не враг: какова изнанка отношений Турции и России и каким видит Стамбул свое место на политической карте мира?

Турция для России — больше, чем сосед; немногим меньше, чем близкий родственник

Esquire
Как вырастить алоэ вера и правильно за ним ухаживать — полная инструкция Как вырастить алоэ вера и правильно за ним ухаживать — полная инструкция

Алоэ вера — популярное комнатное растение, но как за ним ухаживать?

Cosmopolitan
Брюс Уиллис завершил карьеру в кино: 13 его лучших фильмов Брюс Уиллис завершил карьеру в кино: 13 его лучших фильмов

Вспоминаем самые яркие фильмы с Брюсом Уиллисом

РБК
Какая река самая длинная? Ответ не так прост Какая река самая длинная? Ответ не так прост

Длина реки больше не считается справедливой мерой

Популярная механика
Как быстро упаковать вещи: 10 лайфхаков для экстренного переезда Как быстро упаковать вещи: 10 лайфхаков для экстренного переезда

Возьми себя в руки и продумай переезд

Playboy
Молодой мужчина бронзового века страдал от хронического аппендицита Молодой мужчина бронзового века страдал от хронического аппендицита

Палеопатологи исследовали останки индивида из Чехии

N+1
Археологи обнаружили на Енисее два наскальных изображения рожениц Археологи обнаружили на Енисее два наскальных изображения рожениц

Вероятно, эти изображения рожениц сделали носители окуневской культуры

N+1
Открыть в приложении