Google publica detalles de la arquitectura de red de la octava generación de TPU 8t a nivel de rack

robot
Generación de resúmenes en curso
AIMPACT mensaje, 16 de mayo (UTC+8), Google reveló los detalles arquitectónicos de la conexión a nivel de bastidor de la octava generación de TPU (TPU 8t) a la red Virgo.
La red utiliza conmutadores de alta cardinalidad y una topología plana de dos capas sin bloqueo, elevando el ancho de banda de la red del centro de datos a 4 veces la generación anterior, con una sola estructura capaz de conectar más de 134,000 chips TPU 8t, proporcionando un ancho de banda bidireccional sin bloqueo de 47 Pb/s y un rendimiento de casi 1.7K ExaFlops con escalabilidad casi lineal.
El TPU 8t en sí mismo utiliza una topología de anillo 3D, con un solo módulo superpotente escalable hasta 9600 chips, y admite expansión a más de un millón de chips mediante JAX y Pathways.
Las tecnologías clave incluyen aceleradores SparseCore, superposición y escalado equilibrado de VPU/MXU, soporte nativo para FP4, y la integración de CPU Axion basada en Arm para eliminar cuellos de botella en el host.
Este diseño está dirigido a la evolución de los modelos de IA desde modelos de lenguaje grande y densos hacia modelos de expertos híbridos a gran escala y arquitecturas intensivas en inferencia.
(Fuente: InFoQ)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 11
  • 3
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
GateUser-8df0eb2b
· Hace10m
Un solo módulo de chip de 9600 núcleos, puede expandirse a millones, esa escala ni siquiera se habría imaginado el año pasado.
Ver originalResponder0
PerpNightwatch
· hace1h
El soporte nativo de FP4 reduce significativamente la presión en la memoria y el ancho de banda, y también disminuye el costo de inferencia.
Ver originalResponder0
GateUser-14cb5f72
· hace1h
1.7K ExaFlops de expansión casi lineal, esta cifra parece de ciencia ficción
Ver originalResponder0
TheNemesisOfFomo
· hace1h
Los ecosistemas de Pathways+JAX se están integrando cada vez más profundamente, Google está fortaleciendo su foso competitivo.
Ver originalResponder0
OpcodePoet
· hace1h
Conmutador de alta cardinalidad con topología plana, ¿el centro de datos puede copiar la idea de diseño?
Ver originalResponder0
ChillBlock
· hace1h
De los modelos de lenguaje grandes (LLM) densos a arquitecturas MoE + razonamiento, la tendencia de la industria está cambiando
Ver originalResponder0
Don'tCallMeABagHolder.
· hace1h
¿Con este nombre TPU 8t, la próxima generación será llamada 9t, 10t, y así sucesivamente, siguiendo directamente el ritmo de iteración de Nvidia?
Ver originalResponder0
StardustUnderTheGlassDome
· hace1h
El ancho de banda de interconexión de chips se ha cuadruplicado, la congestión en las comunicaciones se ha aliviado, y la eficiencia de paralelización de grandes modelos puede mejorar.
Ver originalResponder0
RedGlass
· hace1h
¿Cómo manejan la tasa de fallos en un clúster de millones de chips? Tengo curiosidad por sus mecanismos de tolerancia a fallos.
Ver originalResponder0
ShortPositionsAtTheElevator
· hace1h
El diseño superpuesto de SparseCore y VPU/MXU es bastante interesante, parece estar allanando el camino para la arquitectura MoE.
Ver originalResponder0
Ver más