LongCat-Next est un modèle multimodal basé sur l'architecture MoE, développé en open source par l'équipe Longcat de Meituan. Il intègre cinq capacités : la compréhension textuelle, la compréhension visuelle, la génération d'images et la parole. Son architecture centrale DiNA réalise un traitement unifié des tâches grâce à des tokens discrets, tandis que dNaViT, appliqué au domaine visuel, permet d'excellentes performances en génération d'images. Comparé aux modèles similaires, LongCat-Next affiche des résultats supérieurs dans tous les benchmarks, démontrant ses avantages dans les domaines de la compréhension et de la génération multimodales.

Cursor a publié un rapport technique sur Composer 2, présentant son plan d'entraînement complet pour l'architecture Kimi K2.5 MoE, incluant l'entraînement en deux phases et le benchmark maison CursorBench. Après l'entraînement, les performances de Composer 2 ont considérablement augmenté, surpassant les autres modèles de pointe en termes de coût d'inférence.

Cursor a publié le 25 mars un rapport technique sur Composer 2, révélant le schéma d'entraînement du modèle Kimi K2.5, qui adopte une architecture MoE avec 1,04 trillion de paramètres. L'entraînement se déroule en deux phases, utilisant la simulation de scénarios réels pour l'apprentissage par renforcement, atteignant finalement un score de 61,3 sur le benchmark CursorBench, soit une amélioration de 70%, avec un coût d'inférence inférieur à celui des autres API de grands modèles.

L'équipe LongCat de Meituan a open-sourcé LongCat-Flash-Prover le 21 mars, un modèle MoE avec 560 milliards de paramètres, dédié à la preuve formelle de théorèmes en Lean4. Le modèle dispose de trois capacités principales : formalisation automatique, génération d'esquisses et génération de preuves complètes, combinant des outils de raisonnement et le compilateur Lean4 pour une vérification en temps réel. L'entraînement utilise le Hybrid-Experts Iteration Framework et l'algorithme HisPO pour prévenir la triche aux récompenses. Les tests de référence montrent que ce modèle établit de nouveaux records parmi les modèles open-source pondérés en formalisation automatique et preuve de théorèmes.

Mistral AI a lancé Leanstral, un agent de code open source conçu spécifiquement pour la vérification formelle en Lean 4, capable de générer du code et des preuves vérifiables automatiquement. Le modèle utilise une architecture MoE clairsemée, surpassant les autres modèles de premier plan, et offre des téléchargements gratuits et des appels API.