Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Австралийцы отыскали новую популяцию вымирающих беличьих кускусов Австралийцы отыскали новую популяцию вымирающих беличьих кускусов

Экологи обнаружили в Косцюшко новую популяцию беличьих кускусов

N+1
«Экономист под прикрытием. Почему возникают пробки, кофе стоит дорого и невозможно найти хорошую подержанную машину» «Экономист под прикрытием. Почему возникают пробки, кофе стоит дорого и невозможно найти хорошую подержанную машину»

Как водители влияют на окружающих?

N+1
Новые методы помогут искать воду в лунных кратерах и глубоко под поверхностью Новые методы помогут искать воду в лунных кратерах и глубоко под поверхностью

Ученые пытаются определить, где и сколько льда находится на Луне

ТехИнсайдер
Бизнесмен Тихон Смыков вспоминает, как в России появились Nokia, Apple, Nike и LEGO Бизнесмен Тихон Смыков вспоминает, как в России появились Nokia, Apple, Nike и LEGO

Тихон Смыков о том, как отечественный рынок ретейла поднимался с колен

GQ
«Эффект кислого винограда»: как неудачи и страх провала мешают нам исполнять мечты «Эффект кислого винограда»: как неудачи и страх провала мешают нам исполнять мечты

Почему мы бессознательно обесцениваем то, что раньше вдохновляло?

Forbes
“Нам нравится щекотать друг другу мозг” “Нам нравится щекотать друг другу мозг”

Конфликтолог Андрей Кёниг помогает снизить накал страстей в паре

Psychologies
10 способов укрепить ногти в домашних условиях 10 способов укрепить ногти в домашних условиях

Устрой своим ногтям SPA-курорт, не выходя из дома

Cosmopolitan
Секс, беременность, падения: 8 самых популярных снов и их значение Секс, беременность, падения: 8 самых популярных снов и их значение

Что означают твои сны?

Cosmopolitan
Спецотряд «Эльба»: первая атака немецких камикадзе Спецотряд «Эльба»: первая атака немецких камикадзе

Первая и последняя миссия немецкого спецотряда «Эльба»

Maxim
Невидимые угрозы: TORCH-инфекции Невидимые угрозы: TORCH-инфекции

Что такое TORCH-инфекции и чем они опасны для ребенка?

Здоровье
Зоологи допустили существование сумчатых волков в наши дни Зоологи допустили существование сумчатых волков в наши дни

Скорее всего, этот вид вымер не в 1936 года, а на рубеже 1990-2000 годов

N+1
Синдром отличника Синдром отличника

Актер «Гоголь-центра» Михаил Тройник — о выборе, искусстве и точных науках

OK!
7 важных книг о старении и долголетии, которые стоит прочесть 7 важных книг о старении и долголетии, которые стоит прочесть

Каков лимит у молодости? Почему мы стареем?

Популярная механика
Как поступить в сложной ситуации? Подскажут метафорические карты Как поступить в сложной ситуации? Подскажут метафорические карты

Метафорические карты помогут определить свою позицию накануне важного события

Psychologies
Иностранцы о русских. Часть 2: Отношения русского народа и власти Иностранцы о русских. Часть 2: Отношения русского народа и власти

Высказывания иностранцев об отношениях русского народа и власти

Maxim
Как понять, что девушка обойдется тебе дорого: 10 признаков Как понять, что девушка обойдется тебе дорого: 10 признаков

Есть девушки, на которых уходит целое состояние и последние нервные клетки

Maxim
Как отличить натуральный мех от искусственного — отвечает эксперт Как отличить натуральный мех от искусственного — отвечает эксперт

Эксперт: как отличить качественный натуральный и искусственный мех от подделки

Cosmopolitan
Бенедикт Камбербэтч: «Дети – лучший якорь в нашем плаванье» Бенедикт Камбербэтч: «Дети – лучший якорь в нашем плаванье»

Трудно поверить, но Бенедикт Камбербэтч считает себя личностью вполне заурядной

Psychologies
Микропластик ухудшил физико-химические свойства почвы Микропластик ухудшил физико-химические свойства почвы

Микропластик создал непреодолимые препятствия для питания растений

N+1
Принцип 80/20 Принцип 80/20

Как достичь большего с наименьшими усилиями

kiozk originals
Лед тронулся: чем грозят изменения климата в Арктике Лед тронулся: чем грозят изменения климата в Арктике

Морской лед — один из самых чувствительных компонентов природы Арктики

N+1
Узнай, кем станет твой ребенок, по игрушкам, в которые он играет Узнай, кем станет твой ребенок, по игрушкам, в которые он играет

То, с чем играет твой ребенок, может определить его судьбу

Maxim
Как сделать очки виртуальной реальности из картона? Как сделать очки виртуальной реальности из картона?

Превращаем смартфон в очки виртуальной реальности отменного качества

Популярная механика
Пять способов борьбы с внутренней тревогой Пять способов борьбы с внутренней тревогой

Как рождается беспокойство и почему оно бывает выгодным для нас?

Psychologies
Игра в куклы помогает найти связь с собой и мирозданием Игра в куклы помогает найти связь с собой и мирозданием

В традиционном народном творчестве заключена целительная сила

Psychologies
Люди идут по свету? Люди идут по свету?

Свобода передвижения: так ли уж человечество добивалось этой привилегии?

Вокруг света
10 скрытых возможностей поиска Google, о которых ты, скорее всего, не знал 10 скрытых возможностей поиска Google, о которых ты, скорее всего, не знал

В Google можно делать много интересных вещей!

Maxim
Отличные фильмы с Мягковым, которые ты мог пропустить Отличные фильмы с Мягковым, которые ты мог пропустить

Андрей Мягков играл не только в «Иронии судьбы» или «Служебном романе»

Maxim
Я мечтаю о дочке Я мечтаю о дочке

Певица Зара – о детстве, сыновьях и преимуществах зрелых родителей

Домашний Очаг
Шок-система: нарасти полкило мышц за 1 час в неделю Шок-система: нарасти полкило мышц за 1 час в неделю

Шоковая система тренировок!

Maxim
Открыть в приложении