Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Отличной посадки на Титан, «Стрекоза»! Отличной посадки на Титан, «Стрекоза»!

Посадка на другие планеты — дело весьма непростое

Наука
В этих странах запрещено отмечать Новый год — и вот, почему В этих странах запрещено отмечать Новый год — и вот, почему

В некоторых странах Нового года и вовсе не существует!

VOICE
Штурманы подземелья Штурманы подземелья

Маркшейдеры — специалисты, знающие, как проложить дорогу под землей

ТехИнсайдер
Как понять все о мужчине по той позе, в которой он спит Как понять все о мужчине по той позе, в которой он спит

То, как мы спим, может многое о нас рассказать

VOICE
Планы на будущее Планы на будущее

Что о развитии автотранспорта думают в руководстве автомобильных компаний

Популярная механика
«И вот она нарядная на праздник к нам пришла»: кто и как придумал украшать новогоднюю елку игрушками? «И вот она нарядная на праздник к нам пришла»: кто и как придумал украшать новогоднюю елку игрушками?

Откуда появилась такая традиция — вешать на ветви дерева украшения?

ТехИнсайдер
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Rasa: «Музыка — единственная вещь в жизни, которая приносит нам колоссальное удовольствие» Rasa: «Музыка — единственная вещь в жизни, которая приносит нам колоссальное удовольствие»

Даша и Витя Rasa начали громко и продолжили не менее круто

ЖАРА Magazine
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Неизвестный предок «калаша»: а вы слышали про автомат Фёдорова? Неизвестный предок «калаша»: а вы слышали про автомат Фёдорова?

Почему армия отказалась от перспективной модели автомата и как она создавалась

ТехИнсайдер
Подпоручик, маршал, палач, жертва Подпоручик, маршал, палач, жертва

Как самонадеянность привела Тухачевского к гибели

Дилетант
Как сохранить свои ценности и себя во времена хаоса: 5 шагов Как сохранить свои ценности и себя во времена хаоса: 5 шагов

Как оставаться собой, когда теряются ориентиры?

Psychologies
Ученые рассказали о жутких изменениях, происходящих с телами астронавтов во время пребывания в космосе Ученые рассказали о жутких изменениях, происходящих с телами астронавтов во время пребывания в космосе

Воздействие, которое космос оказывает на наше тело, не просто «тяжелое»

ТехИнсайдер
Семь китайских клонов, копирующих премиальные автомобили Семь китайских клонов, копирующих премиальные автомобили

Некоторые из наиболее смелых китайских подражателей премиальным авто

4x4 Club
Как простить обиду: 12 полезных советов — узнайте прямо сейчас Как простить обиду: 12 полезных советов — узнайте прямо сейчас

Советы, которые помогут простить обидчика

Psychologies
8 поводов, из-за которых вы ссоритесь и 8 способов быстро помириться: это работает! 8 поводов, из-за которых вы ссоритесь и 8 способов быстро помириться: это работает!

Советы для всех, кто хочет найти способ быстро помириться с любимым

VOICE
Детство на тарелке Детство на тарелке

«Советскую» тему художница начала случайно, и больше для себя

Новый очаг
Сара Джессика Паркер. Звезда в балетной пачке Сара Джессика Паркер. Звезда в балетной пачке

Сара Джессика Паркер стала ролевой моделью для миллионов женщин во всем мире

Караван историй
У истоков атомной бомбы: кто же был У истоков атомной бомбы: кто же был

Кто работал над атомной бомбой?

ТехИнсайдер
Астрологи, экстрасенсы, целители: почему люди идут к ним сегодня? Астрологи, экстрасенсы, целители: почему люди идут к ним сегодня?

Почему «бытовая магия» популярна в наш век высоких технологий?

Psychologies
Едим дома Едим дома

Как выбрать подходящий сервис доставки готовой еды

Лиза
«Жена, а не человек»: как Софья Толстая боролась за собственный голос «Жена, а не человек»: как Софья Толстая боролась за собственный голос

Как Софья Толстая боролась за право высказываться и творить?

Forbes
Отрывок из книги Герта Нюгордсхауга «Зоопарк доктора Менгеле» Отрывок из книги Герта Нюгордсхауга «Зоопарк доктора Менгеле»

Отрывок из экологического триллера «Зоопарк доктора Менгеле»

СНОБ
Как отличить сатанинскую звезду от православной: главные факты о пентаграмме Как отличить сатанинскую звезду от православной: главные факты о пентаграмме

Пятиконечной звезде минимум пять с половиной тысяч лет

Maxim
Закусывать надо!.. Но правильно Закусывать надо!.. Но правильно

6 продуктов, которые нельзя совмещать с алкоголем

Лиза
«Взломать старение» «Взломать старение»

Почему теперь мы сможем жить дольше

N+1
Здоровая и красивая кожа, пышные волосы и крепкий иммунитет: в каких продуктах содержится витамин Е? Здоровая и красивая кожа, пышные волосы и крепкий иммунитет: в каких продуктах содержится витамин Е?

Креветки, миндаль и авокадо: пополняем запасы витамина Е

ТехИнсайдер
Самый красивый советский маньяк: история Александра Лабуткина, в которого влюблялись жертвы Самый красивый советский маньяк: история Александра Лабуткина, в которого влюблялись жертвы

Самый странный серийный убийца советских времен

VOICE
Мария Смольникова: Мария Смольникова:

Многие поначалу были просто ошарашены новым театральным языком

Коллекция. Караван историй
Мой муж — содержанец: как я была главой семьи и чем это закончилось Мой муж — содержанец: как я была главой семьи и чем это закончилось

Как заботливый муж превращается в камень на шее, который тянет тебя на дно

VOICE
Открыть в приложении