Selon le suivi 1M AI News, la société Fireworks AI, spécialisée dans l'infrastructure de déploiement de l'IA, a publié un aperçu de Fireworks Training, passant d'une plateforme de déploiement pure à une plateforme intégrée pour la formation et le déploiement. Fireworks AI a été fondée par Lin Ciao, ancien ingénieur chez Meta ayant participé à la création de PyTorch, et est actuellement évaluée à 4 milliards de dollars, traitant 15 trillions de tokens par jour. La plateforme propose trois niveaux : 1. Agent de formation : destiné aux équipes produit sans infrastructure d'apprentissage automatique, leur permettant de décrire des tâches et de télécharger des données pour compléter tout le processus de formation à déploiement, supporte actuellement uniquement LoRA ; 2. Formation gérée : destinée aux ingénieurs en apprentissage automatique, supporte SFT, DPO et le fine-tuning par renforcement, y compris la formation complète de paramètres ; 3. API de formation : orientée vers les équipes de recherche, permettant de personnaliser les fonctions de perte et les cycles d'apprentissage, supporte des algorithmes tels que GRPO et DAPO, avec une formation complète de paramètres allant d’un Qwen3 8B à Kimi K2.5 (trillions de paramètres) sur 64 NVIDIA B200. Les clients de Fireworks AI pour le déploiement en production, les outils de programmation IA Cursor, Vercel et Genspark ont terminé une formation par renforcement avancée sur cette plateforme. Vercel a entraîné un modèle de correction automatique d’erreurs pour son produit de génération de code v0, atteignant 93% de génération de code sans erreur, contre seulement 62% pour Sonnet 3.5, et a amélioré la latence de bout en bout de 40 fois par rapport à l’ancien modèle fermé utilisé. Genspark a fine-tuné un modèle ouvert de 1 trillion de paramètres Kimi K2 avec apprentissage par renforcement pour créer un agent de recherche approfondie, augmentant l’utilisation de l’outil de 33% et réduisant les coûts de 50%. Cursor a terminé un apprentissage distribué par renforcement pour Composer 2 sur 3-4 clusters à travers le monde (actuellement en tête de CursorBench), partageant le même pool de GPU pour l’entraînement et le déploiement en production. Fireworks AI souligne sa différenciation technologique clé dans la cohérence numérique entre l’entraînement et le déploiement. Les modèles MoE (Groupe mixte d’experts) sont numériquement plus fragiles que les modèles denses, où de légers changements dans les états cachés peuvent modifier la routage des experts et amplifier les effets en cascade. Fireworks a publié les valeurs de divergence KL entre l’entraînement et le déploiement pour tous les modèles supportés, toutes inférieures à 0.01.