根據 SemiAnalysis,具備超過 2.8 兆(trillion)參數的 Kimi K3 需要 64 晶的部署架構,以及超過 1.5TB 的 HBM 儲存容量。與市場擔憂線性注意力機制會削弱高階 AI 硬體需求相反,該研究機構表示,K3 的規模與推論架構或許反而可能強化對輝達(Nvidia)GPU、HBM 與互連設備的需求。SemiAnalysis 指出,即使使用者併發有限,KV 快取仍需要大量將資料卸載到 CPU 的 DDR5 記憶體與 NVMe 儲存,因此留給 HBM 的可用餘量有限。該機構認為,更有效率的模型架構能降低 AI 推論成本,推動更廣泛的應用採用,並帶來 GPU、HBM、DRAM 與網路基礎設施的長線需求。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱
免責聲明。