Google DeepMind выпустила Magenta RealTime 2 — модель музыки в реальном времени для Mac с задержкой менее 200 мс

Beating сообщает, что Google DeepMind выпустила Magenta RealTime 2 (MRT2) — открытый исходный код модели для генерации музыки в реальном времени, оптимизированной для MacBook с Apple Silicon. Модель позволяет музыкантам управлять генерацией аудио через сигналы MIDI, текстовые подсказки или аудиосемплы с задержкой ниже 200 миллисекунд.

MRT2 поддерживает три режима взаимодействия: аккомпанемент под управлением MIDI, который автоматически генерирует оркестровую подложку на основе ввода аккордов; синтез по тексту для генерации в заданном стиле; и аудиоклонирование, имитирующее характеристики входного звука. Доступны две версии параметров — mrt2_small на 230 миллионов параметров для всех Mac с Apple Silicon и mrt2_base на 2,4 миллиарда параметров для более мощных чипов M-series Pro и Max. Инференс-библиотека magenta-rt и C++-ориентированный инференс-движок теперь с открытым исходным кодом на GitHub; также доступны отдельные приложения для macOS и плагины для DAW.