Microsoft Introduit des SLM multimodaux formés sur des GPU NVIDIA

James Ding

26 février 2025 15:38

Microsoft dévoile de nouveaux Phi SLM, y compris le Phi-4 multimodal, formé sur des GPU NVIDIA, améliorant les capacités d’IA avec une utilisation efficace des ressources.

Microsoft a annoncé les derniers ajouts à sa famille Phi de petits modèles de langue (SLMs), avec les nouveaux modèles Phi-4-multimodal et Phi-4-mini, tous deux entraînés à l’aide de GPU NVIDIA. Ce développement marque une étape significative dans l’évolution des modèles de langue, mettant l’accent sur l’efficacité et la polyvalence, selon NVIDIA.

Progrès dans les petits modèles de langage

SLMs ont émergé comme une solution pratique aux défis posés par les grands modèles de langue (LLMs), qui, malgré leurs capacités, nécessitent des ressources computationnelles substantielles. Les SLMs sont conçus pour fonctionner efficacement dans des environnements contraints, ce qui les rend adaptés au déploiement sur des appareils avec une mémoire limitée et une puissance de calcul limitée.

Le nouveau modèle multimodal Phi-4 de Microsoft est particulièrement remarquable pour sa capacité à traiter plusieurs types de données, y compris du texte, de l’audio et des images. Cette capacité ouvre de nouvelles possibilités pour des applications telles que la reconnaissance vocale automatisée, la traduction et le raisonnement visuel. L’entraînement du modèle a impliqué 512 GPU NVIDIA A100-80 Go sur 21 jours, soulignant les efforts de calcul intensifs nécessaires pour atteindre ses capacités.

Phi-4-multimodal et Phi-4-mini

Le modèle multimodal Phi-4 compte 5,6 milliards de paramètres et a démontré des performances supérieures en reconnaissance automatique de la parole, se classant en tête du classement Huggingface OpenASR avec un taux d’erreur de mot de 6,14%. Cet exploit met en évidence le potentiel du modèle dans l’amélioration des technologies de reconnaissance vocale.

Aux côtés de Phi-4-multimodal, Microsoft a également introduit Phi-4-mini, un modèle texte uniquement optimisé pour les applications de chat. Avec 3,8 milliards de paramètres, Phi-4-mini est conçu pour gérer efficacement du contenu long, offrant une fenêtre contextuelle de 128K tokens. Sa formation a impliqué 1024 GPU NVIDIA A100 80GB sur 14 jours, reflétant l’accent du modèle sur des données et du code éducatifs de haute qualité.

Déploiement et accessibilité

Les deux modèles sont disponibles sur la fonderie Azure AI de Microsoft, offrant une plateforme pour concevoir, personnaliser et gérer des applications d’IA. Les utilisateurs peuvent également explorer ces modèles via le catalogue API NVIDIA, qui propose un environnement sandbox pour tester et intégrer ces modèles dans diverses applications.

La collaboration entre NVIDIA et Microsoft va au-delà de la simple formation de ces modèles. Le partenariat comprend l’optimisation de logiciels et de modèles tels que Phi pour promouvoir la transparence de l’IA et soutenir les projets open source. Cette collaboration vise à faire progresser la technologie de l’IA dans tous les secteurs, des soins de santé aux sciences de la vie.

Pour des informations plus détaillées, visitez le blog NVIDIA.

Source de l’image : Shutterstock