Google DeepMind lanza Magenta RealTime 2, modelo de música en tiempo real para Mac con latencia inferior a 200 ms

Beating señala que Google DeepMind lanzó Magenta RealTime 2 (MRT2), un modelo de generación de música en tiempo real de código abierto optimizado para MacBook con Apple Silicon. El modelo permite a los músicos controlar la generación de audio mediante señales MIDI, indicaciones de texto o muestras de audio con una latencia inferior a 200 milisegundos.

MRT2 admite tres modos de interacción: acompañamiento guiado por MIDI que genera automáticamente una base orquestal a partir de la entrada de acordes, síntesis de texto a instrumento para generación basada en estilo y clonación de audio que imita las características del sonido de entrada. Hay dos versiones de parámetros disponibles: una mrt2_small de 230 millones de parámetros para todos los Mac con Apple Silicon y una mrt2_base de 2,4 mil millones de parámetros para chips M-series Pro y Max de gama alta. La biblioteca de inferencia magenta-rt y el motor de inferencia en C++ ya están de código abierto en GitHub, con aplicaciones macOS independientes y plugins para DAW disponibles.