A Microsoft apresenta SLMs multimodais treinados em GPUs NVIDIA

James Ding

26 de fevereiro de 2025 15:38

A Microsoft revela novos Phi SLMs, incluindo o multimodal Phi-4, treinado em GPUs da NVIDIA, melhorando as capacidades de IA com uso eficiente de recursos.

A Microsoft anunciou as mais recentes adições à sua família Phi de pequenos modelos de linguagem (SLMs), apresentando os novos modelos Phi-4-multimodal e Phi-4-mini, ambos treinados usando GPUs NVIDIA. Este desenvolvimento marca um passo significativo na evolução dos modelos de linguagem, com foco na eficiência e versatilidade, de acordo com a NVIDIA.

Avanços em Modelos de Pequenas Línguas

SLMs surgiram como uma solução prática para os desafios colocados pelos grandes modelos de linguagem (LLMs), que, apesar de suas capacidades, requerem recursos computacionais substanciais. SLMs são projetados para operar de forma eficiente em ambientes restritos, tornando-os adequados para implantação em dispositivos com memória limitada e potência computacional.

O novo modelo multimodal Phi-4 da Microsoft é especialmente notável pela sua capacidade de processar vários tipos de dados, incluindo texto, áudio e imagens. Esta capacidade abre novas possibilidades para aplicações como reconhecimento de fala automatizado, tradução e raciocínio visual. O treino do modelo envolveu 512 GPUs NVIDIA A100-80GB ao longo de 21 dias, sublinhando os esforços computacionais intensivos necessários para alcançar as suas capacidades.

Phi-4-multimodal e Phi-4-mini

O modelo multimodal Phi-4 possui 5,6 bilhões de parâmetros e demonstrou um desempenho superior no reconhecimento automático de fala, classificando-se em primeiro lugar no quadro de líderes do Huggingface OpenASR com uma taxa de erro de palavra de 6,14%. Esta conquista destaca o potencial do modelo em melhorar as tecnologias de reconhecimento de fala.

Ao lado do Phi-4-multimodal, a Microsoft também introduziu o Phi-4-mini, um modelo apenas de texto otimizado para aplicações de chat. Com 3,8 bilhões de parâmetros, o Phi-4-mini foi projetado para lidar com conteúdo de longa duração de forma eficiente, oferecendo uma janela de contexto de 128K tokens. Seu treinamento envolveu 1024 GPUs NVIDIA A100 de 80 GB ao longo de 14 dias, refletindo o foco do modelo em dados e código educacionais de alta qualidade.

Implementação e Acessibilidade

Ambos os modelos estão disponíveis na Azure AI Foundry da Microsoft, fornecendo uma plataforma para projetar, personalizar e gerir aplicações de IA. Os utilizadores também podem explorar estes modelos através do Catálogo de API da NVIDIA, que oferece um ambiente de sandbox para testar e integrar estes modelos em várias aplicações.

A colaboração da NVIDIA com a Microsoft vai além do treinamento desses modelos. A parceria inclui a otimização de software e modelos como o Phi para promover a transparência da IA e apoiar projetos de código aberto. Esta colaboração visa fazer avançar a tecnologia de IA em todas as indústrias, desde os cuidados de saúde às ciências da vida.

Para obter informações mais detalhadas, visite o blog da NVIDIA.

Fonte da imagem: Shutterstock