Marvell Technology attire l'attention des investisseurs de Wall Street alors que le marché des semi-conducteurs évolue vers l'efficacité énergétique dans un contexte de crise de consommation électrique induite par l'IA. Selon Bloomberg, les coûts d'électricité près des centres de données américains ont augmenté de 267 % au cours des cinq dernières années, affectant 13 des 50 États américains, car les charges de travail de l'IA consomment des quantités massives d'énergie. Les grandes entreprises technologiques qui achètent de l'électricité en gros bénéficient de remises tandis que les consommateurs résidentiels supportent des coûts plus élevés, incitant l'industrie à privilégier les architectures de puces à faible consommation. Le professeur Kim Hak-joo du département Convergence IA de l'Université Handong Global explique que l'acquisition d'Inphi par Marvell en 2021 – un leader de la connectivité des signaux entre puces – positionne l'entreprise pour résoudre le principal goulot d'étranglement de l'IA : le transfert de données entre la mémoire et les unités de calcul, qui représente 40 % de la consommation électrique de l'IA.
La consommation électrique de l'IA entraîne une hausse de 267 % des coûts d'électricité dans les zones de centres de données américains
Bloomberg rapporte que les coûts d'électricité dans les zones proches des centres de données américains ont augmenté de 267 % par rapport à il y a cinq ans, avec 13 des 50 États américains actuellement touchés et la portée géographique continuant de s'étendre. Les grandes entreprises technologiques exploitant des centres de données achètent l'électricité en gros, bénéficiant de remises qui transfèrent les charges de coûts aux consommateurs résidentiels. La consommation électrique de l'IA se décompose en quatre catégories : transfert de données (40 %), dissipation thermique et refroidissement (35 %), calcul (15 %) et maintenance du stockage de données (10 %). Bill Dally, scientifique en chef de NVIDIA, a déclaré que l'IA consomme beaucoup plus d'énergie pour transférer des données depuis les semi-conducteurs de mémoire externe (HBM) vers les unités de calcul (GPU) que pour effectuer les calculs eux-mêmes.
L'industrie des semi-conducteurs se tourne vers les architectures SRAM et CIM pour l'efficacité énergétique
L'industrie se tourne vers une utilisation accrue de la SRAM – mémoire située à l'intérieur des unités de calcul GPU – au lieu de la mémoire HBM externe pour réduire les distances de transfert de données. Lorsque la consommation électrique de calcul équivaut à 1, la récupération de données depuis la mémoire SRAM interne nécessite 5 à 10 unités d'énergie, tandis que la récupération depuis la mémoire HBM externe consomme 100 à 1000 unités en raison de la résistance du signal sur de plus longues distances de fils de cuivre et de la nécessité d'une amplification du signal. Des entreprises comme Groq et Cerebras ont conçu des puces densément remplies de SRAM, éliminant les connexions HBM externes malgré les limitations de la SRAM en termes de capacité, de taille physique et de coût. L'industrie développe également des architectures Chip-in-Memory (CIM) qui intègrent directement les unités de calcul dans la mémoire pour minimiser davantage les distances de transfert.
Marvell Technology gagne un avantage concurrentiel grâce à l'acquisition d'Inphi
Marvell Technology a acquis Inphi en 2021, obtenant ainsi l'accès à une expertise de premier plan mondial en matière de connectivité des signaux entre semi-conducteurs. Inphi détenait des positions dominantes à la fois dans les connexions de signaux à micro-échelle dans des espaces de puces restreints et dans les solutions de mise en réseau par communication optique. Les grandes entreprises technologiques, dont Google, Microsoft et Amazon, ont besoin de la propriété intellectuelle d'Inphi pour concevoir la mise en réseau entre puces (ASIC), ce qui donne à Inphi un pouvoir de négociation important, même avec les grandes entreprises technologiques. L'industrie fait passer les supports de transfert de données du fil de cuivre à la communication optique par laser pour réduire la consommation d'énergie et la génération de chaleur lors de la récupération de grands volumes de données depuis la mémoire HBM externe, un domaine où Inphi maintient des solutions de premier ordre.
FAQ
Qu'est-ce qui a provoqué une hausse de 267 % des coûts d'électricité près des centres de données américains ?
Selon Bloomberg, les coûts d'électricité dans les régions de centres de données américains ont augmenté de 267 % en cinq ans en raison de la consommation massive d'énergie de l'IA, touchant actuellement 13 des 50 États américains avec un impact géographique croissant.
Pourquoi Marvell Technology a-t-elle acquis Inphi en 2021 ?
Marvell a acquis Inphi en 2021 pour obtenir l'accès à une technologie de premier plan mondial en matière de connectivité des signaux entre puces et de communication optique, des capacités essentielles pour les architectures de puces IA à faible consommation, car le transfert de données représente 40 % de la consommation électrique de l'IA.
Comment la SRAM réduit-elle la consommation électrique de l'IA par rapport à la mémoire HBM ?
La SRAM située à l'intérieur des unités de calcul GPU nécessite 5 à 10 unités d'énergie pour la récupération de données lorsque le calcul utilise 1 unité, tandis que la mémoire HBM externe consomme 100 à 1000 unités en raison de distances de transfert de données plus longues et des exigences d'amplification du signal sur les fils de cuivre.
