Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Начало неолита на северо-западе Южной Азии сдвинули примерно на три тысячи лет Начало неолита на северо-западе Южной Азии сдвинули примерно на три тысячи лет

Почему ученые пересмотрели хронологию поселения Мехргарх?

N+1
Японцы понаблюдали за объедающими друг другу крылья самками и самцами азиатского таракана Японцы понаблюдали за объедающими друг другу крылья самками и самцами азиатского таракана

Ученые: после спаривания азиатские тараканы избавляют друг друга от крыльев

N+1
Бугорки на броне древних рыб превратились в наши зубы всего за 460 миллионов лет Бугорки на броне древних рыб превратились в наши зубы всего за 460 миллионов лет

Как появились наши чувствительные зубы изначально из «бронежилета» вымерших рыб

ТехИнсайдер
Как поступить в сложной ситуации? Подскажут метафорические карты Как поступить в сложной ситуации? Подскажут метафорические карты

Метафорические карты помогут определить свою позицию накануне важного события

Psychologies
Психологический портрет: что такое дисморфофобия, или синдром Квазимодо Психологический портрет: что такое дисморфофобия, или синдром Квазимодо

Что нужно знать о дисморфофобии?

Forbes
«В чем сила, брат?» 7 фильмов Алексея Балабанова, которые нужно пересмотреть «В чем сила, брат?» 7 фильмов Алексея Балабанова, которые нужно пересмотреть

Алексей Балабанов - самый противоречивый российский режиссер

Cosmopolitan
Как сохранить крестец здоровым: упражнения для людей любого возраста Как сохранить крестец здоровым: упражнения для людей любого возраста

Как сохранить здоровье крестца и всего организма?

Psychologies
Накорми меня, если сможешь Накорми меня, если сможешь

Эксперт: как приучить ребенка к здоровой и полезной пище

Лиза
Первый полет в космос: 8 неизвестных фактов Первый полет в космос: 8 неизвестных фактов

Малоизвестные подробности первого полета в космос

РБК
Можно ли обмануть Face ID с помощью фотографии? Можно ли обмануть Face ID с помощью фотографии?

Безопасно ли использовать камеру и собственное лицо для разблокировки смартфона

CHIP
Игорь Лифанов: «До сих пор думаю, что многое еще впереди» Игорь Лифанов: «До сих пор думаю, что многое еще впереди»

Актер Игорь Лифанов о Дмитрии Нагиеве и съемках в «Дневном дозоре»

Караван историй
Telegram Павла Дурова выпускает бонды: что с этим не так Telegram Павла Дурова выпускает бонды: что с этим не так

Стоит ли инвестировать в бонды Telegram и о чем не говорит Павел Дуров

Forbes
Ученые реконструировали ДНК мамонта старше миллиона лет Ученые реконструировали ДНК мамонта старше миллиона лет

Это позволило больше узнать об эволюции шерстистых мамонтов и мамонтов Колумба

N+1
Правила жизни Айн Рэнд Правила жизни Айн Рэнд

Писатель, скончалась в 1982 году в Нью-Йорке

Esquire
Химики научили компьютер определять происхождение вина по химическому составу Химики научили компьютер определять происхождение вина по химическому составу

Ученые объяснили влияние климата на свойства аргентинского вина

N+1
Отличные фильмы с Мягковым, которые ты мог пропустить Отличные фильмы с Мягковым, которые ты мог пропустить

Андрей Мягков играл не только в «Иронии судьбы» или «Служебном романе»

Maxim
Старшие и младшие Старшие и младшие

Как правильно воспитывать двух детей с большой разницей в возрасте?

Лиза
Мэтью Макконахи: «В восемнадцать меня избили до беспамятства, швырнули в автофургон и надругались» Мэтью Макконахи: «В восемнадцать меня избили до беспамятства, швырнули в автофургон и надругались»

Отрывок из мемуаров Мэтью Макконахи «Зеленый свет»

GQ
Сестра таланта Сестра таланта

В весенне-летних коллекциях о себе решили напомнить почти забытые нами мини-юбки

Vogue
Можно ли вылечить насморк быстро? 7 советов оториноларинголога Можно ли вылечить насморк быстро? 7 советов оториноларинголога

Как избавиться от насморка и при этом не навредить себе

РБК
5 шагов к эффективному управлению командой на удаленке 5 шагов к эффективному управлению командой на удаленке

Как сделать дистанционную работу максимально эффективной

СНОБ
8 мужских советов из XVIII века, которые актуальны и сегодня 8 мужских советов из XVIII века, которые актуальны и сегодня

Первоклассные рекомендации, который пригодятся тебе и твоему сыну

Maxim
5 лучших хорроров, чтобы не скучать в пандемию: часть 1 5 лучших хорроров, чтобы не скучать в пандемию: часть 1

Лучшие книги для того, чтобы пощекотать себе нервы

Популярная механика
Шопинг-терапия для парней: 7 вещей, которые стоит купить сразу после расставания Шопинг-терапия для парней: 7 вещей, которые стоит купить сразу после расставания

Эти штуки помогут тебе быстрее ожить после болезненного разрыва

Playboy
«Да» значит «да», но можно передумать»: юрист Анна Ривина — о концепции согласия в отношениях «Да» значит «да», но можно передумать»: юрист Анна Ривина — о концепции согласия в отношениях

Как зафиксировать сексуальное согласие?

Forbes
10 душераздирающих фильмов, которые заставят вас плакать 10 душераздирающих фильмов, которые заставят вас плакать

10 чудесных лент, во время просмотра которых мы можете заплакать!

Cosmopolitan
Зубастые улитки и еще 9 внезапных фактов, чтобы блеснуть в разговоре Зубастые улитки и еще 9 внезапных фактов, чтобы блеснуть в разговоре

Сборник фактов на все случаи и разговоры в жизни

Maxim
Интервью с белорусским акционистом Алексеем Кузьмичом ‎о политическом искусстве и критике протестов Интервью с белорусским акционистом Алексеем Кузьмичом ‎о политическом искусстве и критике протестов

Белорусский акционист Алексей Кузьмич — о том, за что критикует оппозицию

СНОБ
11 королевских привычек, которые могут вам пригодиться 11 королевских привычек, которые могут вам пригодиться

Что полезного можно почерпнуть из королевского образа жизни в наше время.

GQ
Невероятная жизнь скрипача Оле Булла, которого называли «Элвисом XIX века» Невероятная жизнь скрипача Оле Булла, которого называли «Элвисом XIX века»

Его слава парадоксальным образом угасла сразу после смерти

Maxim
Открыть в приложении