Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Мозг: еда и новизна. Почему нас тянет к новому и вкусному» «Мозг: еда и новизна. Почему нас тянет к новому и вкусному»

Как еда вызывает эмоции

N+1
«Убийство Уильяма Норвичского. Происхождение кровавого навета в средневековой Европе» «Убийство Уильяма Норвичского. Происхождение кровавого навета в средневековой Европе»

Медиевист заново рассматривает обстоятельства смерти Уильяма Норвичского

N+1
Австралиец нашел прижизненные фотографии вымершего почти сто лет назад бандикута Австралиец нашел прижизненные фотографии вымершего почти сто лет назад бандикута

Куратор музея обнаружил в архивах черно-белые фотографии бандикута

N+1
Поверх барьеров Поверх барьеров

9 мостов, представляющих культурное наследие человечества

Вокруг света
В режиме «не беспокоить»: что такое синдром цифровой усталости, чем он опасен и как с ним бороться В режиме «не беспокоить»: что такое синдром цифровой усталости, чем он опасен и как с ним бороться

Как зумеры столкнулись с выгоранием от бесконечного скроллинга социальных сетей

Правила жизни
Готов ли ты стать отцом? Готов ли ты стать отцом?

Правила обращения с беременной женщиной

Maxim
Пористый полимерный каркас позволил мышам эффективней нарастить мышечные клетки Пористый полимерный каркас позволил мышам эффективней нарастить мышечные клетки

Ученые предложили использовать пористый материал в тканевой инженерии

N+1
«Нельзя колоть ботокс в 20» и еще 6 мифов о ботулинотерапии, которые пора забыть «Нельзя колоть ботокс в 20» и еще 6 мифов о ботулинотерапии, которые пора забыть

Как обстоят дела с ботулинотерапией?

Cosmopolitan
Посттравматический абсурд Посттравматический абсурд

«Рыцари справедливости» — депрессивная комедия о смысле жизни

Weekend
Тайна перевала Дятлова: неожиданный источник разгадки Тайна перевала Дятлова: неожиданный источник разгадки

Удалось ли современной науке разгадать тайну перевала Дятлова?

Cosmopolitan
Как флешмоб обычных ребят на Reddit обанкротил миллионеров с Уолл-стрит Как флешмоб обычных ребят на Reddit обанкротил миллионеров с Уолл-стрит

Текущий кризис на американской бирже и банкротство крупнейших хеджевых фондов

Maxim
Алкогений: Эрик Клэптон Алкогений: Эрик Клэптон

Гитарист и певец Эрик Клэптон шел навстречу бутылке извилистыми путями

Maxim
Золото в шкафу: как крошечный стартап помогает крупным компаниям наживаться на буме перепродаж Золото в шкафу: как крошечный стартап помогает крупным компаниям наживаться на буме перепродаж

Секонд-хенд становится тенденцией, от которой в восторге и покупатели, и бренды

Forbes
Почему Пентагон недоволен самолетом F-35 Почему Пентагон недоволен самолетом F-35

Истребители-бомбардировщики F-35 оказались почти непригодны к эксплуатации

Популярная механика
Зоологи допустили существование сумчатых волков в наши дни Зоологи допустили существование сумчатых волков в наши дни

Скорее всего, этот вид вымер не в 1936 года, а на рубеже 1990-2000 годов

N+1
Физики разработали самовосстанавливающиеся генераторы для носимой электроники Физики разработали самовосстанавливающиеся генераторы для носимой электроники

Ученые создали гибкий нательный генератор электричества

N+1
История Джозефа Уэйла по прозвищу Желтый парень — самого страшного афериста доядерной эпохи История Джозефа Уэйла по прозвищу Желтый парень — самого страшного афериста доядерной эпохи

Перед этим мошенником снял бы шляпу даже Остап Бендер

Maxim
У Москвы–реки У Москвы–реки

Современный, респектабельный интерьер московской квартиры

SALON-Interior
4 показателя фитнес-браслетов, на которые действительно стоит обращать внимание (их назвали тренеры) 4 показателя фитнес-браслетов, на которые действительно стоит обращать внимание (их назвали тренеры)

Наиболее важные метрики фитнес-браслетов

Playboy
Фильмы, которые предсказали и накаркали беду Фильмы, которые предсказали и накаркали беду

Некоторые киносюжеты сбылись и наделали пакостей в реальном мире

Maxim
Из бутадиена сделали потенциально перерабатываемый пластик Из бутадиена сделали потенциально перерабатываемый пластик

Пока удалось переработать только пять процентов, но считают, что это не предел

N+1
Лиам Нисон: «Такой фильм Клинт Иствуд мог бы снять в начале 80-х» Лиам Нисон: «Такой фильм Клинт Иствуд мог бы снять в начале 80-х»

Лиам Нисон нашел в себе пороху, чтобы пообщаться с нашей журналисткой братией

Maxim
Долгоногов уличили в биофлуоресценции Долгоногов уличили в биофлуоресценции

Под ультрафиолетовым излучением долгоноги светятся красным и оранжевым

N+1
Не тестируется на животных: кто и на ком проверяет косметику и бытовую химию и при чем здесь этика Не тестируется на животных: кто и на ком проверяет косметику и бытовую химию и при чем здесь этика

Что такое этичное тестирование косметики и бытовой химии и как оно проводится

Популярная механика
Как развивалось избирательное право Как развивалось избирательное право

Отрывок из новой книги Александра Замятина «За демократию»

СНОБ
Михаил Башкатов: «Хочу быть в действии каждую секунду!» Михаил Башкатов: «Хочу быть в действии каждую секунду!»

Шоумен Михаил Башкатов о семейных ценностях и важной роли юмора в жизни

Лиза
Ресторатор Евгений Ничипурук — о русской пивной и проекте братьев Рока Ресторатор Евгений Ничипурук — о русской пивной и проекте братьев Рока

Ресторатор Евгений Ничипурук — это человек-мотор, который все успевает

РБК
«А вы думали, Земфира — не человек?»: почему новый альбом певицы «Борделайн» не звучит как открытие «А вы думали, Земфира — не человек?»: почему новый альбом певицы «Борделайн» не звучит как открытие

Почему Земфира не оправдала ожидания многих

Forbes
Мадс Миккельсен: «История русских — это драма. Но вы умеете видеть свет даже в самой темной дыре» Мадс Миккельсен: «История русских — это драма. Но вы умеете видеть свет даже в самой темной дыре»

Мадс Миккельсен — о черной комедии из Скандинавии «Рыцари справедливости»

Esquire
Покажите ее Илону Маску: тест-драйв Audi e-tron Покажите ее Илону Маску: тест-драйв Audi e-tron

Чем удивил новый кроссовер Audi e-tron?

РБК
Открыть в приложении