Marvell Technology capta la atención de los inversores mientras la crisis energética de la IA impulsa la carrera por la eficiencia de los chips

Marvell Technology está atrayendo la atención de los inversores de Wall Street a medida que el mercado de semiconductores se orienta hacia la eficiencia energética en medio de una crisis de consumo de energía impulsada por la IA. Según Bloomberg, los costos de electricidad cerca de los centros de datos de EE. UU. aumentaron un 267% en los últimos cinco años, afectando a 13 de los 50 estados del país, ya que las cargas de trabajo de IA consumen enormes cantidades de energía. Las grandes empresas tecnológicas que compran electricidad al por mayor reciben descuentos, mientras que los consumidores residenciales asumen costos más altos, lo que impulsa a la industria a priorizar arquitecturas de chips de bajo consumo. El profesor Kim Hak-joo del Departamento de Convergencia de IA de la Universidad Global Handong explica que la adquisición de Inphi por parte de Marvell en 2021 —líder en conectividad de señal entre chips— posiciona a la empresa para abordar el cuello de botella central de la IA: la transferencia de datos entre la memoria y las unidades de procesamiento, que representa el 40% del consumo de energía de la IA.

El consumo de energía de la IA impulsa un aumento del 267% en los costos de electricidad en las regiones de centros de datos de EE. UU.

Bloomberg informa que los costos de electricidad en áreas cercanas a los centros de datos de EE. UU. aumentaron un 267% en comparación con hace cinco años, con 13 de los 50 estados actualmente afectados y el alcance geográfico en expansión. Las grandes empresas tecnológicas que operan centros de datos compran electricidad al por mayor y reciben descuentos, trasladando la carga de costos a los consumidores residenciales. El consumo de energía de la IA se divide en cuatro categorías: transferencia de datos (40%), disipación y refrigeración de calor (35%), cómputo (15%) y mantenimiento del almacenamiento de datos (10%). Bill Dally, científico jefe de NVIDIA, afirmó que la IA consume mucha más energía transfiriendo datos desde semiconductores de memoria externa (HBM) a las unidades de procesamiento (GPU) que realizando los cálculos en sí.

La industria de semiconductores se orienta hacia arquitecturas SRAM y CIM para la eficiencia energética

La industria se está moviendo hacia un mayor uso de SRAM —memoria ubicada dentro de las unidades de procesamiento de la GPU— en lugar de memoria HBM externa para reducir las distancias de transferencia de datos. Cuando el consumo de energía de cómputo equivale a 1, recuperar datos de la memoria interna SRAM requiere de 5 a 10 unidades de energía, mientras que obtener datos de la memoria HBM externa consume de 100 a 1000 unidades debido a la resistencia de la señal en distancias más largas de cables de cobre y la necesidad de amplificación de señal. Empresas como Groq y Cerebras diseñaron chips densamente llenos de SRAM, eliminando las conexiones HBM externas a pesar de las limitaciones de SRAM en capacidad, tamaño físico y costo. La industria también está desarrollando arquitecturas Chip-in-Memory (CIM) que integran unidades de procesamiento directamente en la memoria para minimizar aún más las distancias de transferencia.

Marvell Technology obtiene una ventaja competitiva mediante la adquisición de Inphi

Marvell Technology adquirió Inphi en 2021, obteniendo acceso a una experiencia líder mundial en conectividad de señal entre semiconductores. Inphi mantuvo posiciones dominantes tanto en conexiones de señal a microescala dentro de espacios reducidos de chips como en soluciones de redes de comunicación óptica. Grandes empresas tecnológicas como Google, Microsoft y Amazon requieren la propiedad intelectual de Inphi para diseñar redes entre chips (ASIC), lo que le otorga a Inphi un poder de negociación significativo incluso con empresas tecnológicas importantes. La industria está transitando los medios de transferencia de datos desde el cable de cobre hacia la comunicación óptica basada en láser para reducir el consumo de energía y la generación de calor al recuperar grandes volúmenes de datos de la memoria HBM externa, un área donde Inphi mantiene soluciones de primer nivel.

Preguntas frecuentes

¿Qué provocó que los costos de electricidad cerca de los centros de datos de EE. UU. aumentaran un 267%? Según Bloomberg, los costos de electricidad en las regiones de centros de datos de EE. UU. aumentaron un 267% en cinco años debido al enorme consumo de energía de la IA, afectando actualmente a 13 de los 50 estados, con un impacto geográfico en expansión.

¿Por qué Marvell Technology adquirió Inphi en 2021? Marvell adquirió Inphi en 2021 para obtener acceso a tecnología líder mundial en conectividad de señal entre chips y redes de comunicación óptica, capacidades esenciales para arquitecturas de chips de bajo consumo de IA, ya que la transferencia de datos representa el 40% del consumo de energía de la IA.

¿Cómo reduce la SRAM el consumo de energía de la IA en comparación con la memoria HBM? La SRAM ubicada dentro de las unidades de procesamiento de la GPU requiere de 5 a 10 unidades de energía para la recuperación de datos cuando el cómputo usa 1 unidad, mientras que la memoria HBM externa consume de 100 a 1000 unidades debido a distancias de transferencia de datos más largas y requisitos de amplificación de señal a través de cables de cobre.