Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

На грани слышимости: нейтринные коммуникации для подводного флота На грани слышимости: нейтринные коммуникации для подводного флота

Современные субмарины становятся неслышимы и невидимы для радаров

Популярная механика
Почему дети плохо учатся Почему дети плохо учатся

Как родителям помочь своему ребенку полюбить тот или иной предмет

СНОБ
Планетарная оборона Планетарная оборона

Рано или поздно Земля обязательно столкнется с крупным астероидом

ТехИнсайдер
Без полиции Без полиции

Как правильно оформить европротокол при ДТП

Лиза
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Как провести зимние каникулы без вреда: пять новогодних угроз здоровью Как провести зимние каникулы без вреда: пять новогодних угроз здоровью

С чем наши организмы могут столкнуться в длинные зимние выходные?

ТехИнсайдер
Этого не может быть Этого не может быть

Самые удивительные гипотезы в биологии

ТехИнсайдер
Реальные Маугли: 5 жутких историй одичавших детей Реальные Маугли: 5 жутких историй одичавших детей

Истории детей, которые росли вне человеческого общества

ТехИнсайдер
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
И корабль не плывет. «Треугольник печали» — главный сатирический фильм года. Но это скорее заслуга года И корабль не плывет. «Треугольник печали» — главный сатирический фильм года. Но это скорее заслуга года

«Треугольник печали» — ехидное кино о круизном лайнере, который идет ко дну

Правила жизни
Прорицатель или симулянт: 6 сугубо научных фактов о Нострадамусе, которых вы могли не знать Прорицатель или симулянт: 6 сугубо научных фактов о Нострадамусе, которых вы могли не знать

Кем же был Нострадамус — образованным шарлатаном или все-таки истинным пророком?

Популярная механика
Эта дворянская семья влияет на Россию столетиями! Вы точно знаете их Эта дворянская семья влияет на Россию столетиями! Вы точно знаете их

Семьи служителей царя, поэтов и кинематографистов, влияющие на Россию

ТехИнсайдер
Маломощные реакторы спасут мирный атом Маломощные реакторы спасут мирный атом

Репутация – главная проблема атомной энергетики в XXI веке

Популярная механика
Иностранный Дед Мороз: как называют главного героя Нового года в разных странах Иностранный Дед Мороз: как называют главного героя Нового года в разных странах

Как выглядят коллеги Деда Мороза из других стран

ТехИнсайдер
Что нельзя есть при повышенном сахаре в крови: 7 запрещенных продуктов Что нельзя есть при повышенном сахаре в крови: 7 запрещенных продуктов

Увы, при повышенном сахаре в крови от многих лакомств придется отказаться!

ТехИнсайдер
Свой – чужой Свой – чужой

На что похожи «Москвичи»

Автопилот
Юбилейная тоска: как ностальгия по СССР стала мешать развитию страны Юбилейная тоска: как ностальгия по СССР стала мешать развитию страны

Даже воспоминания об СССР не связаны с прогрессом

Forbes
Сорняки в электрохимии Сорняки в электрохимии

Опасный инвазивный вид — борщевик — может служить сырьем для батарей

Наука
Магия слова Магия слова

Аффирмации, которые помогут приблизить осуществление заветной мечты

Лиза
Что делать, если запотело пластиковое окно? Что делать, если запотело пластиковое окно?

Почему окна запотевают таким странным образом и как от этого избавиться

ТехИнсайдер
«Серебряный воробей»: книга с рекомендациями от клуба Опры Уинфри «Серебряный воробей»: книга с рекомендациями от клуба Опры Уинфри

Отрывок из книги «Серебряный воробей» американской писательницы Тайари Джонс

Forbes
Колода джокеров и сорок сценариев будущего Колода джокеров и сорок сценариев будущего

Прогнозист Александр Чулок — о том, по какому пути может пойти развитие общества

РБК
Потеря, тревога и стресс: как справиться с сильными переживаниями — 5 проверенных техник Потеря, тревога и стресс: как справиться с сильными переживаниями — 5 проверенных техник

Способы, которые помогают снизить уровень тревожности в трудные времена

Psychologies
Как отличить некомпетентного человека, от человека с «синдромом самозванца» Как отличить некомпетентного человека, от человека с «синдромом самозванца»

Как распознать человека с «синдромом самозванца»

Maxim
Толкование снов: о чем говорит ваше бессознательное — познайте себя Толкование снов: о чем говорит ваше бессознательное — познайте себя

Способны ли мы узнать глубину нашей личности благодаря снам?

Psychologies
«Монополизировать рынок еды невозможно». Почему слияние Яндекс.Еды и Delivery Club — хороший знак для малого бизнеса «Монополизировать рынок еды невозможно». Почему слияние Яндекс.Еды и Delivery Club — хороший знак для малого бизнеса

Удастся ли Яндексу вслед за такси монополизировать сферу еды?

Inc.
Половое воспитание: как разговаривать с детьми о сексе, объясняет эксперт Половое воспитание: как разговаривать с детьми о сексе, объясняет эксперт

Как и когда начинать говорить с детьми о сексе?

VOICE
Как стирать шубу из искусственного меха: базовые правила по уходу, которые сохранят идеальный внешний вид вещи Как стирать шубу из искусственного меха: базовые правила по уходу, которые сохранят идеальный внешний вид вещи

Рассказываем об основных правилах ухода за верхней одеждой из экомеха

ТехИнсайдер
Ёлочные человечки Ёлочные человечки

Хотим познакомить вас с теми, кто наделяет душой ёлочные игрушки

Новый очаг
Этот женский гормон может спасти от бреда. Стоит узнать! Этот женский гормон может спасти от бреда. Стоит узнать!

Делирий можно предотвратить с помощью особого гормона

ТехИнсайдер
Открыть в приложении