Sakana AI y Nvidia logran una inferencia 30% más rápida en H100 al omitir el 80% de los cálculos inválidos

Sakana AI y Nvidia han publicado TwELL como open-source, un formato de datos dispersos que permite a las GPU H100 omitir el 80% de los cálculos inválidos en modelos de lenguaje grandes sin perder precisión. La solución ofrece hasta un 30% más de velocidad en la inferencia y un 24% más rápida en el entrenamiento en H100, a la vez que reduce el uso máximo de memoria. En pruebas con un modelo de 1,5 mil millones de parámetros, el enfoque redujo las neuronas activas a menos del 2% mediante una regularización ligera durante el entrenamiento, sin degradación del rendimiento en siete tareas posteriores.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios