Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Губки на роструме снизили эффективность эхолокации афалин Губки на роструме снизили эффективность эхолокации афалин

Почему афалины редко охотятся с губками на роструме?

N+1
Не делай так: 6 признаков того, что твой интерьер давно устарел Не делай так: 6 признаков того, что твой интерьер давно устарел

Какие детали интерьера способны выдать плохой вкус его владельца.

Cosmopolitan
Микробиологи разобрались в ферментации элитных какао-бобов Микробиологи разобрались в ферментации элитных какао-бобов

Исследователи описали состав микроорганизмов, участвующих в ферментации какао

N+1
Не важно, закроется ли Clubhouse: почему у «социального аудио» есть будущее и какие сервисы нужны на этом рынке Не важно, закроется ли Clubhouse: почему у «социального аудио» есть будущее и какие сервисы нужны на этом рынке

Почему рынок «социального аудио» выглядит важным и кто на нем может заработать

VC.RU
ИП или ООО — вот в чем вопрос: какую форму ведения деятельности выбрать МСП ИП или ООО — вот в чем вопрос: какую форму ведения деятельности выбрать МСП

ИП и ООО: чем отличаются и какая форма ведения бизнеса подойдет именно вам?

Inc.
10 провальных бьюти-запусков звезд: от Кардашьян до Пэрис Хилтон 10 провальных бьюти-запусков звезд: от Кардашьян до Пэрис Хилтон

Чуть ли каждая вторая знаменитость создает свой бренд косметики и ухода

Cosmopolitan
Редкие металлы Редкие металлы

В дизайне этой квартиры присутствуют материалы, нетипичные для жилых интерьеров

AD
Спала с сыном, отрезала голову мужу: последняя женщина, которую сожгли на костре Спала с сыном, отрезала голову мужу: последняя женщина, которую сожгли на костре

История последней женщины, которую сожгли на костре

Cosmopolitan
Антикризисный бизнес: сколько в России ИП и много ли они зарабатывают Антикризисный бизнес: сколько в России ИП и много ли они зарабатывают

Сектор индивидуального предпринимательства увеличивает заработки даже в кризисы

Forbes
Когда цветет миндаль Когда цветет миндаль

Почему бы в последние дни зимы не помечтать о далекой Майорке, где всё в цвету?

Лиза
Каскадная катастрофа Каскадная катастрофа

В чем причина экологической катастрофы на Камчатке

Наука
Физики зафиксировали редкое гиперядро с двумя странными кварками Физики зафиксировали редкое гиперядро с двумя странными кварками

Удалось однозначно определить энергию связи Ξ-гиперона с ядром

N+1
Мы уйдем из зоопарка Мы уйдем из зоопарка

Татьяна Алешичева о Берлине 70-х в сериале «Мы дети станции „Зоо“»

Weekend
Алексей Слаповский: Недо Алексей Слаповский: Недо

Отрывок из романа-столковения Алексея Слаповского «Недо»

СНОБ
Лед тронулся: чем грозят изменения климата в Арктике Лед тронулся: чем грозят изменения климата в Арктике

Морской лед — один из самых чувствительных компонентов природы Арктики

N+1
Новая Lada Niva Travel: первые впечатления за рулем Новая Lada Niva Travel: первые впечатления за рулем

Дебют обновленной Lada Niva

РБК
Торт не захочешь! 10 продуктов, которые уберут тягу к сладкому. Мнение диетолога Торт не захочешь! 10 продуктов, которые уберут тягу к сладкому. Мнение диетолога

Как освободиться от сахара?

Cosmopolitan
«Были проблемы с деньгами»: близкий друг Андрея Мягкова о его последних годах «Были проблемы с деньгами»: близкий друг Андрея Мягкова о его последних годах

Георгий Штиль вспоминает давнего приятеля Андрея Мягкова

Cosmopolitan
«Операции помогают не отвлекаться на переживания из-за внешности «Операции помогают не отвлекаться на переживания из-за внешности

Героиня, которая считает, что внешность проще изменить, чем пытаться принять

Psychologies
От мини до гендерной нейтральности и авангарда: как эволюционировал стиль Шарлотты Рэмплинг От мини до гендерной нейтральности и авангарда: как эволюционировал стиль Шарлотты Рэмплинг

Стиль актрисы Шарлотты Рэмплинг всегда был прогрессивным для своего времени

Esquire
В Египте нашли самую древнюю промышленную пивоварню В Египте нашли самую древнюю промышленную пивоварню

Предприятие возрастом около 5100 лет могло производить более 22000 литров пива

N+1
Кабинет для фрилансера Кабинет для фрилансера

Юрист из Харькова зарабатывает на автоматизации работы с внештатниками

Forbes
Неизменные перчатки, отсылки к Голливуду и регулярные разборы шкафа: каким был гардероб Любви Орловой Неизменные перчатки, отсылки к Голливуду и регулярные разборы шкафа: каким был гардероб Любви Орловой

Гардероб актрисы Любови Орловой, одной из главных советских икон стиля

Esquire
5 лучших хорроров, чтобы не скучать в пандемию: часть 1 5 лучших хорроров, чтобы не скучать в пандемию: часть 1

Лучшие книги для того, чтобы пощекотать себе нервы

Популярная механика
Снизившуюся популярность коллекционирования бабочек назвали угрозой их изучения Снизившуюся популярность коллекционирования бабочек назвали угрозой их изучения

Сегодня люди стараются фотографировать бабочек, а не ловить их

N+1
“Я вышла замуж по расчету” “Я вышла замуж по расчету”

Юлия Эльдеева слушала не веление сердца, а голос рассудка

Psychologies
Пчелы оценили количество объектов при помощи нечисловых параметров Пчелы оценили количество объектов при помощи нечисловых параметров

Пчелы использовали неколичественные параметры для подсчета объектов

N+1
Мощные ледниковые щиты за последние 150 тысяч лет дважды опреснили Северный Ледовитый океан Мощные ледниковые щиты за последние 150 тысяч лет дважды опреснили Северный Ледовитый океан

Арктика превращается в изолированный пресноводный резервуар

N+1
Химики получили рекордное количество метанола из метана электрохимическим методом Химики получили рекордное количество метанола из метана электрохимическим методом

Ученые открыли способ перерабатывать сланцевый газ и биогаз

N+1
Предчувствие весны Предчувствие весны

Элегантная квартира в Москве с поистине весенней атмосферой

SALON-Interior
Открыть в приложении