A Google DeepMind lança o Magenta RealTime 2, um modelo de música em tempo real para Mac com latência inferior a 200 ms

De acordo com Beating, a Google DeepMind lançou o Magenta RealTime 2 (MRT2), um modelo open-source de geração musical em tempo real optimizado para MacBooks com Apple Silicon. O modelo permite que músicos controlem a geração de áudio através de sinais MIDI, instruções de texto ou amostras de áudio, com uma latência inferior a 200 milissegundos.

O MRT2 suporta três modos de interação: acompanhamento orientado por MIDI que gera automaticamente apoio orquestral com base na introdução de acordes, síntese de texto para instrumentos para geração baseada em estilo, e clonagem de áudio que imita as características do som de entrada. Estão disponíveis duas versões de parâmetros—um mrt2_small com 230 milhões de parâmetros para todos os Mac com Apple Silicon, e um mrt2_base com 2,4 mil milhões de parâmetros para chips M-series Pro e Max de gama mais alta. A biblioteca de inferência magenta-rt e o motor de inferência baseado em C++ foram agora disponibilizados em open-source no GitHub, com aplicações macOS standalone e plugins para DAW disponíveis.