Trajectory lanza la plataforma de código abierto SkyRL y logra una mejora de rendimiento de 2,81x

Según OneMillion_AI, Trajectory, en colaboración con el Sky Computing Lab de la UC Berkeley y Anyscale, anunció recientemente la plataforma open-source SkyRL y la arquitectura Multi-LoRA Training para el ajuste fino de modelos de lenguaje grandes. El sistema aborda las ineficiencias de la optimización tradicional de modelos manteniendo una base de modelo compartida en la memoria de GPU mientras trata múltiples experimentos de ajuste fino como módulos adaptadores ligeros. Las pruebas mostraron que el rendimiento de los experimentos de extremo a extremo mejoró 2,81 veces, con una mejora de 3,25 veces en el rendimiento absoluto de tiempo en un solo nodo, lo que permite que los modelos grandes logren una autoevolución a nivel de horas mediante datos de producción en tiempo real. El código de entrenamiento ya está disponible en el repositorio de SkyRL.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios