Marvell Technologyは、AIによる電力消費危機の中で半導体市場がエネルギー効率へとシフトする中、ウォール街の投資家から注目を集めている。
Bloombergによると、米国のデータセンター近辺の電気代は過去5年間で267%上昇し、AIワークロードが大量の電力を消費するため、米国50州のうち13州が影響を受けている。
電力を卸購入する大手テクノロジー企業は割引を受け、一方で個人の消費者は高いコストを負担しており、業界は低消費電力チップアーキテクチャを優先するよう促されている。
ハンドン国際大学AI融合学科のKim Hak-joo教授は、Marvellが2021年にチップ間信号接続のリーダーであるInphiを買収したことにより、同社がAIの核心的なボトルネックであるメモリと処理ユニット間のデータ転送（AI消費電力の40%を占める）に対処できる立場にあると説明している。
AIの電力消費が米データセンター地域の電気代を267%急騰
Bloombergは、米国のデータセンター近隣地域の電気代が5年前と比較して267%上昇し、現在米国50州のうち13州が影響を受けており、その地理的範囲は拡大し続けていると報じている。
データセンターを運営する大手テクノロジー企業は電力を卸購入し、割引を受けることで、コスト負担を個人の消費者に転嫁している。
AIの電力消費は4つのカテゴリに分類される：データ転送（40%）、放熱・冷却（35%）、演算（15%）、データストレージ維持（10%）。
NVIDIAのチーフサイエンティストBill Dallyは、AIは演算そのものよりも、外部メモリ半導体（HBM）から処理ユニット（GPU）へのデータ転送に遥かに多くの電力を消費すると述べている。
半導体業界、エネルギー効率のためにSRAMとCIMアーキテクチャへシフト
業界は、データ転送距離を短縮するために、外部HBMメモリではなく、GPU処理ユニット内部にあるメモリであるSRAMの使用を拡大する方向に動いている。
演算消費電力が1の場合、内部SRAMメモリからのデータ取得には5～10の電力単位が必要であり、外部HBMメモリからのデータ取得には、より長い銅線距離による信号抵抗と信号増幅の必要性から100～1000の電力単位を消費する。
GroqやCerebrasなどの企業は、SRAMの容量、物理サイズ、コストの制限にもかかわらず、外部HBM接続を排除したSRAMを高密度に搭載したチップを設計した。
業界はまた、転送距離をさらに最小化するために、処理ユニットをメモリに直接統合するChip-in-Memory（CIM）アーキテクチャを開発している。
Marvell Technology、Inphi買収により競争力を獲得
Marvell Technologyは2021年にInphiを買収し、半導体間の信号接続における世界有数の専門知識を獲得した。
Inphiは、狭いチップ空間内での微小スケール信号接続と光通信ネットワーキングソリューションの両方で支配的な地位を占めていた。
Google、Microsoft、Amazonなどの大手テクノロジー企業は、チップ間（ASIC）ネットワーキングを設計するためにInphiの知的財産を必要としており、Inphiは大手テクノロジー企業に対しても大きな交渉力を有している。
業界は、外部HBMメモリから大量のデータを取得する際の消費電力と発熱を削減するために、データ転送媒体を銅線からレーザー光通信に移行しており、Inphiはこの分野でトップクラスのソリューションを維持している。
FAQ
米国のデータセンター近辺の電気代が267%上昇した原因は？
Bloombergによると、米国データセンター地域の電気代は、AIの大量電力消費により5年間で267%上昇し、現在は米国50州のうち13州に影響が及び、地理的影響は拡大中である。
Marvell Technologyはなぜ2021年にInphiを買収したのか？
Marvellは2021年にInphiを買収し、チップ間信号接続と光通信ネットワーキングにおける世界最先端の技術を獲得した。これは、データ転送がAI消費電力の40%を占めることから、低消費電力AIチップアーキテクチャに不可欠な機能である。
SRAMはHBMメモリと比較してどのようにAI消費電力を削減するのか？
GPU処理ユニット内部にあるSRAMは、演算が1単位のとき、データ取得に5～10単位の電力を必要とするのに対し、外部HBMメモリは、より長いデータ転送距離と銅線での信号増幅要件により100～1000単位を消費する。
