Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Возможна ли любовь по переписке: история читательницы и мнение юнгианского аналитика Возможна ли любовь по переписке: история читательницы и мнение юнгианского аналитика

Можно ли полюбить, не зная человека в реальной жизни?

Psychologies
Небо Сибири Небо Сибири

Они называют себя современным оператором запусков в ближний космос (стратосферу)

Популярная механика
«Женщинам важно объединяться»: как кризисные центры укрывают жертв домашнего насилия «Женщинам важно объединяться»: как кризисные центры укрывают жертв домашнего насилия

Как кризисные центры помогают женщинам, пережившим домашнее насилие

Forbes
Планетарная оборона Планетарная оборона

Рано или поздно Земля обязательно столкнется с крупным астероидом

ТехИнсайдер
Для любителей умных метафор: как «1899» стал шоу, в котором ничего не происходит Для любителей умных метафор: как «1899» стал шоу, в котором ничего не происходит

«1899»: сериал, в котором интеллектуальных разговоров больше, чем драмы

Forbes
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Польза или пиар Польза или пиар

Какую косметику выпускают звезды Голливуда (разбираем состав с экспертом)

Лиза
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Как отличить некомпетентного человека, от человека с «синдромом самозванца» Как отличить некомпетентного человека, от человека с «синдромом самозванца»

Как распознать человека с «синдромом самозванца»

Maxim
Клён? Нет, ликвидамбар Клён? Нет, ликвидамбар

Осенью особенно интересно путешествовать по старинным усадебным паркам

Наука и жизнь
Из томатов и картофеля можно выделить лекарство от рака Из томатов и картофеля можно выделить лекарство от рака

Гликоалкалоиды из томатов способны уничтожить раковые клетки

ТехИнсайдер
Робот выходит на поле Робот выходит на поле

В России роботов-футболистов готовит к победе команда студентов МФТИ

Популярная механика
Почему атлеты пьют много протеиновых коктейлей: не вредно ли это? Почему атлеты пьют много протеиновых коктейлей: не вредно ли это?

Протеин — просто белок, и которого много пользы при правильном употреблении

ТехИнсайдер
Лучшие масла для жарки: советы от экспертов Лучшие масла для жарки: советы от экспертов

Как сделать жареные продукты менее губительными для здоровья?

ТехИнсайдер
Мышление трудоголика: 7 ошибок — как перестать работать на износ Мышление трудоголика: 7 ошибок — как перестать работать на износ

Типичные мыслительные паттерны, которые свойственны трудоголикам

Psychologies
Как увеличить скорость интернета: 10 способов Как увеличить скорость интернета: 10 способов

Как увеличить скорость интернета через роутер и при прямом подключении к сети

CHIP
Моделирование подтвердило сосуществование двух жидких фаз в переохлажденной воде Моделирование подтвердило сосуществование двух жидких фаз в переохлажденной воде

Переохлажденная вода имеет две жидкие фазы разной плотности

N+1
Реальные Маугли: 5 жутких историй одичавших детей Реальные Маугли: 5 жутких историй одичавших детей

Истории детей, которые росли вне человеческого общества

ТехИнсайдер
Мясоед vs вегетарианец Мясоед vs вегетарианец

Иван Глушков, большой знаток российского юга, поговорил о ягнятах и томатах

Bones
Тайны асимметричного мира: почему большинство людей — правши Тайны асимметричного мира: почему большинство людей — правши

Глава из книги «Почему сердце находится слева, а стрелки часов двужутся вправо»

Forbes
Loc-Dog: «Мне никогда не было тяжело» Loc-Dog: «Мне никогда не было тяжело»

Рэпер Loc-Dog рассказал о том, боится ли он разочаровать публику

ЖАРА Magazine
Запчасти для людей Запчасти для людей

Как ученые научились делать искусственные органы

N+1
Потеря, тревога и стресс: как справиться с сильными переживаниями — 5 проверенных техник Потеря, тревога и стресс: как справиться с сильными переживаниями — 5 проверенных техник

Способы, которые помогают снизить уровень тревожности в трудные времена

Psychologies
Будущее подкрадывается на цыпочках Будущее подкрадывается на цыпочках

Каким предстает наше общее завтра в произведениях фантастов

РБК
Адам Драйвер Адам Драйвер

Адам Драйвер – о своей роли профессора Глэдни в «Белом шуме»

Grazia
Правда ли нужно выпивать два литра воды в день? Ученые из Японии и США развенчали популярный миф Правда ли нужно выпивать два литра воды в день? Ученые из Японии и США развенчали популярный миф

Сколько нужно пить воды в день?

Inc.
6 книг, которые согреют вас в новогодние праздники 6 книг, которые согреют вас в новогодние праздники

Подборка книг для полного Новогоднего погружения

ТехИнсайдер
«Красота мешает личной жизни»: 3 истории женщин и комментарий психолога «Красота мешает личной жизни»: 3 истории женщин и комментарий психолога

Подчеркнутое внимание не дает красавицам возможности найти близкого человека

Psychologies
Как в XX веке женщина освобождалась от корсетов и длинных юбок и причем здесь войны Как в XX веке женщина освобождалась от корсетов и длинных юбок и причем здесь войны

Как расширение прав женщин находило отражение в силуэтах платьев

Forbes
Открыть в приложении