MusicGen від Meta: Новий етап у створенні музики штучним інтелектом
Компанія Meta представила код для MusicGen – ще одного інструмента на основі штучного інтелекту, який може перетворювати текстові описи на музичні композиції. Ви можете випробувати демоверсію онлайн, використовуючи лише браузер. Отримані результати є досить вражаючими, що свідчить про значний прогрес у розвитку музичних моделей ШІ.
Далі ви дізнаєтеся про MusicGen та про те, як створювати музику за його допомогою.
Що таке MusicGen?
У червні 2023 року Meta представила MusicGen – модель ШІ для створення музики. Хоча це не перша розробка, що вирішує завдання синтезу музики за текстовим описом (існують Jukebox від OpenAI та MusicLM), MusicGen є першою, код якої є відкритим. Це дозволяє запускати програму локально, якщо ваш комп’ютер має графічний процесор з мінімум 16 ГБ пам’яті (хоча нам вдалося запустити її з 11 ГБ).
Якщо у вас немає необхідного обладнання, ви можете скористатися веб-демонстрацією MusicGen у браузері. Створення аудіофрагмента тривалістю близько 12 секунд може зайняти трохи більше хвилини.
Яка якість звучання MusicGen?
Meta заявляє, що MusicGen створює якісні зразки музики, хоча дослідники визначили якість як 32 кГц. Це значення знаходиться між вимогами для синтезу мови (16 кГц) і стандартом для цифрової музики (44,1 кГц).
Насправді, якість аудіо не відповідає мінімальним стандартам, які ви, можливо, звикли чути на радіо або стрімінгових платформах. Однак, порівнюючи з іншими музичними генераторами на базі штучного інтелекту, якість є досить гарною, з низьким рівнем шуму.
Наскільки музика відповідає текстовим запитам? Ви можете швидко переконатися у цьому, прослухавши приклади. В цілому, MusicGen вдається дотримуватися популярних музичних жанрів та зберігати більш узгоджену музичну структуру, порівняно з попередніми розробками.
Як створювати музику з MusicGen?
MusicGen простий у використанні і не вимагає реєстрації. Інтерфейс також інтуїтивно зрозумілий, що дозволяє легко експериментувати.
Ось покрокова інструкція:
- Відкрийте веб-додаток MusicGen.
- Введіть текстовий запит у поле “Опишіть свою музику”. Можна спробувати щось просте, наприклад “ірландська народна мелодія”, або деталізувати запит, вказавши інструменти, темп, жанр або емоції.
- Натисніть кнопку “Generate”, щоб розпочати процес. Через одну-дві хвилини у модулі “Generated Music” з’явиться аудіоплеєр.
- Наведіть курсор на модуль, щоб побачити елементи керування плеєром, та прослухайте файл, або натисніть значок завантаження, щоб зберегти його на комп’ютері. Зверніть увагу, що файл буде завантажений у форматі .mp4.
- Щоб використовувати наявну мелодію як основу, завантажте аудіозапис у відповідний модуль або скористайтеся мікрофоном, натиснувши кнопку “Мікрофон”.
Використання мелодії в якості умови дозволяє впливати на результат, який створює MusicGen.
Які обмеження на використання аудіо, створеного MusicGen?
Код MusicGen розповсюджується за ліцензією MIT з певними обмеженнями. Щодо аудіо, створеного моделлю, не існує чітких юридичних вказівок. Проте, варто звернути увагу на попередження від Meta щодо використання MusicGen:
«Модель не повинна використовуватися для навмисного створення або поширення музичних творів, які створюють вороже або відчужене середовище. Зокрема, не можна створювати музику, яка може бути тривожною, образливою або пропагувати стереотипи».
Meta підкреслює, що MusicGen розроблено для дослідників, які вивчають створення музики штучним інтелектом, а не для “низового використання”, наприклад завантаження та розповсюдження музики на стрімінгових платформах.
Ці етичні питання типові для генеративного мистецтва на основі ШІ. Отримання згоди на використання навчальних даних, а також питання компенсації авторам є причинами для обережності Meta.
Використання моделі для розваги не є проблемою, але комерційне використання аудіо може викликати певні складнощі. Багатьох цікавить, яким буде майбутнє поп-музики з використанням штучного інтелекту.
Отже, MusicGen – це ще одна модель штучного інтелекту від Meta, здатна створювати музику за текстовим описом. Ви можете випробувати демоверсію, використовуючи звичайний браузер.