Fireworks AI lanza una plataforma de entrenamiento, con soporte para el entrenamiento de parámetros completos de billones de parámetros.

Fireworks AI publica una versión preliminar de Fireworks Training, ampliando la posición de la empresa desde un proveedor de infraestructura de inferencia “solo” hasta una plataforma integral de “entrenamiento + despliegue”. Esta empresa de infraestructura de IA, fundada por Lin Qiao (Lin Qiao), ex ingeniero de Meta y que participó en la construcción de PyTorch, actualmente tiene una valoración de 4 mil millones de dólares y ya procesa 150 billones de tokens al día.

Arquitectura de entrenamiento en tres niveles: desde operaciones sin código hasta una personalización integral de nivel de investigación

La arquitectura en tres niveles de Fireworks Training está diseñada para usuarios con diferentes antecedentes técnicos, de modo que los equipos del producto, los ingenieros de ML y los investigadores puedan completar en la misma plataforma el proceso completo que va desde el entrenamiento hasta el despliegue:

Funcionalidades de tres niveles de servicios

Training Agent (nivel sin código): dirigido a equipos de producto sin infraestructura básica de ML; describe la tarea y carga los datos para completar el flujo de extremo a extremo. Actualmente admite ajuste fino LoRA.

Managed Training (nivel de ingenieros): dirigido a ingenieros de ML; admite ajuste fino SFT, DPO y de aprendizaje por refuerzo, e incluye la capacidad de entrenamiento de todos los parámetros

Training API (nivel de investigación): dirigido a equipos de investigación; permite definir funciones de pérdida y ciclos de entrenamiento personalizados, y admite algoritmos de aprendizaje por refuerzo como GRPO y DAPO

El tamaño del entrenamiento con todos los parámetros abarca rangos muy amplios: desde un Qwen3 8B en un solo nodo, hasta modelos de billones de parámetros en 64 GPUs NVIDIA B200, Kimi K2.5, abarcando el rango de tamaño completo de los modelos abiertos principales actuales.

Tres casos de clientes: datos de desempeño cuantificables en entornos de producción

Entre los clientes de inferencia actuales de Fireworks AI, ya hay tres empresas líderes de aplicaciones de IA que completaron entrenamientos de aprendizaje por refuerzo de vanguardia y publicaron datos de desempeño específicos.

Vercel: entrenó un modelo de corrección automática para el producto de generación de código v0; la tasa de generación de código sin errores alcanzó el 93%, mientras que en las mismas condiciones Claude Sonnet 3.5 fue solo del 62%; la latencia de extremo a extremo mejoró 40 veces frente al modelo cerrado utilizado anteriormente.

Genspark: realizó ajuste fino por aprendizaje por refuerzo sobre el modelo abierto de billones de parámetros Kimi K2 para construir agentes de investigación profunda. El número de llamadas a herramientas aumentó 33% y el costo de inferencia se redujo 50%.

Cursor: realizó de manera distribuida el entrenamiento de aprendizaje por refuerzo de Composer 2 en 3 a 4 clústeres globales; actualmente ocupa el primer lugar en CursorBench, y logró compartir el mismo pool de recursos de GPU entre el entrenamiento y la inferencia en producción.

Diferencias tecnológicas clave: consistencia numérica entre entrenamiento e inferencia

La diferencia tecnológica diferenciadora que enfatiza Fireworks AI reside en la “consistencia numérica” entre el entrenamiento y la inferencia. Para modelos MoE (mezcla de expertos), pequeñas desviaciones numéricas en los estados ocultos pueden producir efectos en cascada amplificados en las decisiones de enrutamiento de expertos, haciendo que el comportamiento del modelo aprendido en el entorno de entrenamiento no pueda replicarse completamente en la inferencia.

Fireworks publica los valores de la divergencia KL entre el entrenamiento y la inferencia para todos los modelos compatibles; todos los modelos son inferiores a 0.01, proporcionando un punto de referencia de consistencia que se puede comparar de forma cuantificable, para que los desarrolladores puedan evaluar la estabilidad del comportamiento del modelo cuando se transfiere del entrenamiento al despliegue en producción.

Preguntas frecuentes

¿Qué tipo de empresa es Fireworks AI?

Fireworks AI es una empresa de infraestructura de inferencia de IA fundada por Lin Qiao (Lin Qiao), un ex ingeniero de Meta, que participó en la construcción de PyTorch. La empresa actualmente tiene una valoración de 4 mil millones de dólares, procesa 150 billones de tokens al día, y sus clientes principales incluyen Cursor, Vercel, Genspark, entre otras aplicaciones de IA populares.

¿Para qué tipos de usuarios se adapta, respectivamente, la arquitectura de tres niveles de Fireworks Training?

Training Agent está dirigido a equipos de producto que no cuentan con infraestructura básica de ML (operaciones sin código); Managed Training está dirigido a ingenieros de ML (admite entrenamiento completo SFT, DPO y por aprendizaje por refuerzo de todos los parámetros); Training API está dirigido a equipos de investigación (permite definir funciones de pérdida y ciclos de entrenamiento personalizados, y admite algoritmos como GRPO y DAPO).

¿Por qué Fireworks AI enfatiza que la divergencia KL es inferior a 0.01?

La divergencia KL mide la desviación numérica entre los entornos de entrenamiento e inferencia; cuanto mayor sea la desviación, más inestable será el comportamiento del modelo después del despliegue. Es especialmente crítico para modelos MoE: desviaciones pequeñas pueden amplificarse hasta diferencias en las decisiones de enrutamiento. Fireworks AI, al publicar métricas cuantificables, permite que los desarrolladores evalúen de manera objetiva la calidad de la consistencia del modelo desde el entrenamiento hasta el despliegue.