Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Этого не может быть Этого не может быть

Самые удивительные гипотезы в биологии

ТехИнсайдер
Стоит ли мужчинам пить грудное молоко женщин? Вы захотите это узнать! Стоит ли мужчинам пить грудное молоко женщин? Вы захотите это узнать!

Что же нужно знать тем, кто хочет попробовать в зрелом возрасте молоко женщины?

ТехИнсайдер
На грани слышимости: нейтринные коммуникации для подводного флота На грани слышимости: нейтринные коммуникации для подводного флота

Современные субмарины становятся неслышимы и невидимы для радаров

Популярная механика
Знакомьтесь, ёлка! Знакомьтесь, ёлка!

Когда родилась ёлочка и что с ней происходило в России на рубеже XIX и XX веков?

Новый очаг
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
«Всему свое место» «Всему свое место»

Необыкновенная история алфавитного порядка

N+1
Анатомия робособаки Анатомия робособаки

Выверенная анатомия Spot — продукт не слепой эволюции, а грамотной инженерии

ТехИнсайдер
Кто живет в вашей комнате Кто живет в вашей комнате

Как устроен круг общения человека

СНОБ
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
В чем сложности с разблокировкой активов россиян в Euroclear В чем сложности с разблокировкой активов россиян в Euroclear

В Euroclear зависла большая часть замороженных в западных депозитариях активов

Forbes
Когда связи не рвутся Когда связи не рвутся

Что нужно сделать, чтобы мобильная связь была доступна везде

ТехИнсайдер
«По сравнению со мной Чикатило — цыпленок»: история «экспресс-маньяка» Владимира Муханкина «По сравнению со мной Чикатило — цыпленок»: история «экспресс-маньяка» Владимира Муханкина

Владимир Муханкин называл себя учеником Чикатило

VOICE
Как сменить профессию в 30, 40, 45 лет: дельные советы, которые приведут к успеху Как сменить профессию в 30, 40, 45 лет: дельные советы, которые приведут к успеху

Как сделать главный шаг, когда ты вдруг понял, что готов к переменам

Playboy
Россия без мяса. Часть 2. Как вегетарианцы поругались из-за клопов и встретили революцию Россия без мяса. Часть 2. Как вегетарианцы поругались из-за клопов и встретили революцию

Как вегетарианцам удалось сделать свою кухню популярной в Российской империи

СНОБ
Как вам не стыдно: лучшие откровенные фильмы о сексе Как вам не стыдно: лучшие откровенные фильмы о сексе

Есть фильмы, где весь сюжет почти польностью построен на сексе

Правила жизни
Как перестать переживать, что подумают другие: 8 важных советов — прислушайтесь к ним Как перестать переживать, что подумают другие: 8 важных советов — прислушайтесь к ним

Как прислушиваться к дельным советам и игнорировать непрошеную критику?

Psychologies
Любятинка и Рома Штайн Любятинка и Рома Штайн

Блиц-опрос с Ромой Штайном и Любятинкой

ЖАРА Magazine
Побеждать как Геракл: как читать мифы с пользой для психики Побеждать как Геракл: как читать мифы с пользой для психики

Древние мифы писались не для детей

Psychologies
Боялась, что никто не воспримет всерьез: как Хейли Бибер строит косметический бизнес Боялась, что никто не воспримет всерьез: как Хейли Бибер строит косметический бизнес

Как развивается бренд Хайли Бибер

Forbes
Как отличить некомпетентного человека, от человека с «синдромом самозванца» Как отличить некомпетентного человека, от человека с «синдромом самозванца»

Как распознать человека с «синдромом самозванца»

Maxim
Смена декораций Смена декораций

Новогоднее настроение приходит тогда, когда мы начинаем украшать дом

Лиза
В плену конформизма: как пассивное принятие существующего порядка влияет на будущее В плену конформизма: как пассивное принятие существующего порядка влияет на будущее

К чему может привести следование мнению большинства и как с этим бороться

Forbes
Страсти и чувства: о чем говорили женщины в философских салонах XVII–XVIII веков Страсти и чувства: о чем говорили женщины в философских салонах XVII–XVIII веков

Как красоту понимали философы XVII-го и XVIII века?

Forbes
Елки-моталки Елки-моталки

Как остановить предновогоднюю гонку и получить удовольствие от праздника

Лиза
Ученые надеются вырастить северного белого носорога из кусочка его кожи Ученые надеются вырастить северного белого носорога из кусочка его кожи

Ученые создали первичные зародышевые клетки из плюрипотентных стволовых клеток

ТехИнсайдер
Накануне праздников. Степан Степанян и правила форсирования водных преград Накануне праздников. Степан Степанян и правила форсирования водных преград

Как говорится в таких случаях, не пытайтесь повторить...

4x4 Club
Топ-10 продуктов для здорового зимнего меню Топ-10 продуктов для здорового зимнего меню

Как помочь организму пережить холода?

Psychologies
Как закончилась Вторая мировая война: все события, которые привели к победе Как закончилась Вторая мировая война: все события, которые привели к победе

Эти ключевые события в конечном итоге привели к завершению Второй мировой войны

ТехИнсайдер
Что мешает осуществить мечту: 8 типичных ошибок и решений Что мешает осуществить мечту: 8 типичных ошибок и решений

Почему намерения и реальность часто не находят точек соприкосновения?

Psychologies
Как перестать злиться на бывшего: 3 простых шага — следуйте нашей инструкции Как перестать злиться на бывшего: 3 простых шага — следуйте нашей инструкции

Как научиться контролировать эмоции?

Psychologies
Открыть в приложении