Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Немедикаментозное снижение массы обрекло канадца на хроническую боль Немедикаментозное снижение массы обрекло канадца на хроническую боль

Почему может развиться хроническая боль на фоне снижения массы тела

N+1
Почему блогеры и инфлюенсеры могут и вдохновлять, и раздражать? Почему блогеры и инфлюенсеры могут и вдохновлять, и раздражать?

Почему красивые картинки и успешные люди вызывают у нас и вдохновение и злость?

Psychologies
Открыт четвертый вид зрачковой реакции — на фазу дыхания Открыт четвертый вид зрачковой реакции — на фазу дыхания

Ученые открыли, что зрачки реагируют на фазу дыхательного цикла

N+1
Самая большая свалка электроники и еще четыре места на Земле с самыми экстремальными условиями Самая большая свалка электроники и еще четыре места на Земле с самыми экстремальными условиями

В этих экстремальных местах живут люди

Maxim
Исследователи обнаружили, что черные дыры могут помочь в процветании жизни, а не положить ей конец Исследователи обнаружили, что черные дыры могут помочь в процветании жизни, а не положить ей конец

Черные дыры могут быть не такими губительными для жизни, как предполагалось

Inc.
Пространство новых материалов Пространство новых материалов

Как один ученый придумал альтернативу таблице Менделеева

Популярная механика
Кирилл и методы Кирилл и методы

Кирилл Истомин — о кино, интерьерах и профессии декоратора

AD
Новый нос – за 3 дня и без реабилитации. Вся правда от пластического хирурга Новый нос – за 3 дня и без реабилитации. Вся правда от пластического хирурга

Сенсационный метод "сохраняющей" ринопластики по меньшей мере обнадеживает!

Cosmopolitan
10 самых бесящих фраз из вакансий, и что они значат на самом деле 10 самых бесящих фраз из вакансий, и что они значат на самом деле

Представляем понятный переводчик с хедхантерского на соискательский

Maxim
Билет в один конец Билет в один конец

Илон Маск мечтает умереть на Марсе, и он по-своему прав

Популярная механика
10 легендарных военных кораблей, изменивших представление о ВМФ 10 легендарных военных кораблей, изменивших представление о ВМФ

Рассказываем про 10 новаторских кораблей, повлиявших на кораблестроение

Популярная механика
9 признаков, что ты альфа-самец 9 признаков, что ты альфа-самец

Иногда в человеке с первого взгляда чувствуется сильный лидер

Maxim
Наука обучения: как лучше усваивать новые знания в целом и IT-навыки в частности Наука обучения: как лучше усваивать новые знания в целом и IT-навыки в частности

Эксперт — о том, как лучше изучать новое с научной точки зрения

Популярная механика
«Как составить планы на жизнь?»: метод основателя сервиса такси Gett Дэвида Вайсера «Как составить планы на жизнь?»: метод основателя сервиса такси Gett Дэвида Вайсера

Как составлять личные планы на много лет вперед

VC.RU
Кое-что о тактике российской оппозиции, или Слово в защиту повестки «малых дел» Кое-что о тактике российской оппозиции, или Слово в защиту повестки «малых дел»

Владислав Иноземцев: российское протестное движение пересекло рубеж развития

СНОБ
Нового зауропода из Узбекистана описали по единственному хвостовому позвонку Нового зауропода из Узбекистана описали по единственному хвостовому позвонку

Учены обнаружили нового динозавра из группы зауропод

N+1
«Полет» на автопилоте: чего ждать от нового сериала Петра Тодоровского «Полет» на автопилоте: чего ждать от нового сериала Петра Тодоровского

Какие сюрпризы принес зрителям новый сериал «Полет»?

Psychologies
«Чай с любовью» «Чай с любовью»

Регина Тодоренко и Влад Топалов — о любви, браке и 30 книгах по психологии

OK!
Остров сокровищ Остров сокровищ

Алмазные старатели Борнео

Вокруг света
«И тогда я поняла: передо мной стоит моя мама!» «И тогда я поняла: передо мной стоит моя мама!»

Реальные истории обычных людей бывают интереснее, чем сюжеты фильмов и книг

Psychologies
Считал Airbnb достойным соперником и ставил на лояльность: как Арне Соренсон сделал Marriott крупнейшей сетью отелей Считал Airbnb достойным соперником и ставил на лояльность: как Арне Соренсон сделал Marriott крупнейшей сетью отелей

Как Арне Соренсон превратил Marriott в самую крупную сеть гостиниц в мире

VC.RU
Самые безумные и странные традиции средних веков Самые безумные и странные традиции средних веков

Средневековые традиции, которые выходили за все рамки адекватности

Популярная механика
Бодипозитив: свобода быть собой Бодипозитив: свобода быть собой

Бодипозитив ассоциируется у многих исключительно с отталкивающей картинкой

Psychologies
Антикризисный бизнес: сколько в России ИП и много ли они зарабатывают Антикризисный бизнес: сколько в России ИП и много ли они зарабатывают

Сектор индивидуального предпринимательства увеличивает заработки даже в кризисы

Forbes
Нужна ли Кремлю идеология от Константина Богомолова Нужна ли Кремлю идеология от Константина Богомолова

Либералы, прочитав манифест Константина Богомолова, насторожились

СНОБ
«Через 20 лет появятся технологии радикального продления жизни — нужно просто дожить». Антиэйджинг-предприниматели — о том, возможно ли бессмертие «Через 20 лет появятся технологии радикального продления жизни — нужно просто дожить». Антиэйджинг-предприниматели — о том, возможно ли бессмертие

Бессмертие перестало быть чем-то из разряда сказок и ненаучной фантастики

Inc.
10 провальных бьюти-запусков звезд: от Кардашьян до Пэрис Хилтон 10 провальных бьюти-запусков звезд: от Кардашьян до Пэрис Хилтон

Чуть ли каждая вторая знаменитость создает свой бренд косметики и ухода

Cosmopolitan
Жизнь как стартап Жизнь как стартап

Строй карьеру по законам Кремниевой долины

kiozk originals
Ботан стал мачо: как изменились звезды сериала Ботан стал мачо: как изменились звезды сериала

Как сейчас выглядят звезды «Простых истин» и чем они занимаются

Cosmopolitan
Знаешь ли ты, как закончились сериалы нашего детства Знаешь ли ты, как закончились сериалы нашего детства

Что произошло в финале «Зачарованных» и «Санта-Барбары»?

Cosmopolitan
Открыть в приложении