Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Царь ненастоящий! Царь ненастоящий!

Почему ученые отвергли гипотезу об идентификации останков Филиппа II

N+1
Как позволить себе стать собой и изменить жизнь Как позволить себе стать собой и изменить жизнь

Как найти свое место в потоке жизни, как узнать, куда плыть?

Psychologies
У берегов Сингапура нашли 3,5 тонны средневековой китайской посуды У берегов Сингапура нашли 3,5 тонны средневековой китайской посуды

С давних времен остров Сингапур выступал важным перевалочным пунктом для моряков

N+1
Бьюти-гаджеты Бьюти-гаджеты

Разбираемся в популярных девайсах для лица

Лиза
Как стать лучшим мужчиной в постели девушки: секс-эксперт Трейси Кокс поделилась секретами Как стать лучшим мужчиной в постели девушки: секс-эксперт Трейси Кокс поделилась секретами

Что служит причиной неудовлетворенности женщины и как это исправить

Maxim
VR-приложение для смартфона помогло побороть акрофобию VR-приложение для смартфона помогло побороть акрофобию

Приложение помогает людям снизить страх высоты

N+1
Сцепились языками Сцепились языками

Александр Добровинский объясняет, как в юности накопил большой словарный запас

Tatler
Как пить соджу: секреты употребления популярной корейской водки Как пить соджу: секреты употребления популярной корейской водки

Рассказ о традиционном корейском алкогольном напитке

Playboy
Менуэт Менуэт

Новая парода кошек, названная в честь Наполеона

Weekend
Мал, да удал: мини-сериалы 2020-го года, от которых невозможно оторваться! Мал, да удал: мини-сериалы 2020-го года, от которых невозможно оторваться!

Лучшие мини-сериалы 2020-го года

Cosmopolitan
Удалили навсегда! Кто из звезд избавился от родинок, чтобы не рисковать Удалили навсегда! Кто из звезд избавился от родинок, чтобы не рисковать

Эти знаменитости убрали свои природные "метки" по медицинским показаниям

Cosmopolitan
Неизменные перчатки, отсылки к Голливуду и регулярные разборы шкафа: каким был гардероб Любви Орловой Неизменные перчатки, отсылки к Голливуду и регулярные разборы шкафа: каким был гардероб Любви Орловой

Гардероб актрисы Любови Орловой, одной из главных советских икон стиля

Esquire
Бизнесмен Тихон Смыков вспоминает, как в России появились Nokia, Apple, Nike и LEGO Бизнесмен Тихон Смыков вспоминает, как в России появились Nokia, Apple, Nike и LEGO

Тихон Смыков о том, как отечественный рынок ретейла поднимался с колен

GQ
Nikon разработала двухслойную фотоматрицу со встроенным HDR Nikon разработала двухслойную фотоматрицу со встроенным HDR

Группы пикселей в ней снимают с разной экспозицией

N+1
Свет заставил полимерные диски левитировать в условиях мезосферы Свет заставил полимерные диски левитировать в условиях мезосферы

Ученые изготовили полимерные диски, способные летать в вакууме

N+1
Почему блогеры и инфлюенсеры могут и вдохновлять, и раздражать? Почему блогеры и инфлюенсеры могут и вдохновлять, и раздражать?

Почему красивые картинки и успешные люди вызывают у нас и вдохновение и злость?

Psychologies
7 типов плохих начальников, которые уверены, что они хорошие 7 типов плохих начальников, которые уверены, что они хорошие

Типы руководителей, которые мешают работе и карьере подчиненных

Psychologies
Ботокс: что нужно знать, прежде чем принимать решение Ботокс: что нужно знать, прежде чем принимать решение

Что лучше знать до инъекций ботокса и как он влияет на красоту и здоровье

РБК
Истина где-то рядом: загадочная смерть Элизы Лэм Истина где-то рядом: загадочная смерть Элизы Лэм

История гибели канадской студентки Элизы Лэм четыре года назад потрясла США

Cosmopolitan
Отрывок из книги Ирины Левонтиной «Честное слово» Отрывок из книги Ирины Левонтиной «Честное слово»

Книга с рассказами и эссе об отдельных словах и выражениях русского языка

СНОБ
Раскрыта причина затопления советско-российской космической станции «Мир» Раскрыта причина затопления советско-российской космической станции «Мир»

Юрий Коптев озвучил причины затопления первой в мире орбитальной станции «Мир»

Популярная механика
Шок-система: нарасти полкило мышц за 1 час в неделю Шок-система: нарасти полкило мышц за 1 час в неделю

Шоковая система тренировок!

Maxim
Они настоящие Они настоящие

Александр Цыпкин выяснил, чего ждут женщины от современных мужчин

Cosmopolitan
Долгоногов уличили в биофлуоресценции Долгоногов уличили в биофлуоресценции

Под ультрафиолетовым излучением долгоноги светятся красным и оранжевым

N+1
Головастики бразильских квакш покинули безопасные бассейны ради жизни в ручьях Головастики бразильских квакш покинули безопасные бассейны ради жизни в ручьях

Бразильские квакши стали переселяться из мини-водоемов в ручьи: почему?

N+1
Ночницы не почувствовали сладкого несмотря на наличие нужных рецепторов Ночницы не почувствовали сладкого несмотря на наличие нужных рецепторов

Почему ночницы утратили способность воспринимать сладкое

N+1
Создал AWS, получил свободу действий, мог возглавить Microsoft и Uber: что известно о новом главе Amazon Энди Джесси Создал AWS, получил свободу действий, мог возглавить Microsoft и Uber: что известно о новом главе Amazon Энди Джесси

Что известно о приемнике Джеффа Безоса

VC.RU
Ты неправильно ходишь в туалет, спишь и моешься. Исправь — пока не поздно! Ты неправильно ходишь в туалет, спишь и моешься. Исправь — пока не поздно!

У тебя масса шансов навредить себе во время этих с виду полезных занятий

Maxim
«Важно оставаться самим собой даже под слоем грима» «Важно оставаться самим собой даже под слоем грима»

Митя Фомин: о помощи от Робби Уильямса и квартире у моря

OK!
Из Константинополя в США: история производителя ударных тарелок Zildjian длиной 400 лет Из Константинополя в США: история производителя ударных тарелок Zildjian длиной 400 лет

Zildjan 15 поколений строила компанию и ее ударные покупают музыканты всего мира

VC.RU
Открыть в приложении