Tencent publie et open-sourçe un aperçu de Hunyuan Hy3 avec 295B de paramètres

Message des actualités Gate, 23 avril — Tencent a dévoilé et a open-sourcé l’aperçu de Hunyuan Hy3, un modèle de langage hybride de type mixture-of-experts avec fusion de la pensée rapide et lente. Le modèle comprend 295 milliards de paramètres au total avec 21 milliards de paramètres actifs, prenant en charge une longueur maximale de contexte de 256K tokens. L’aperçu Hy3 est le premier modèle entraîné après la restructuration de Hunyuan et le modèle le plus intelligent de Tencent à ce jour. L’entreprise indique des améliorations significatives en raisonnement complexe, en suivi d’instructions, en apprentissage en contexte, en génération de code, en capacités agentiques et en performances d’inférence. Le principal scientifique en IA, Yao Shunyu, a déclaré que l’aperçu Hy3 marque la première étape de la reconstruction de Hunyuan et a exprimé l’espoir que les retours de la communauté open-source renforceront l’utilité pratique de la version officielle.

Tencent augmente simultanément la formation préalable et l’apprentissage par renforcement pour élever le plafond d’intelligence du modèle, et collabore avec plusieurs produits de Tencent grâce à un co-conception approfondie afin d’améliorer les performances dans le monde réel. L’entreprise commence également à explorer des capacités de modèles spécialisées.