HuaweiのAscend 910Cが、1,000+のGPUでDeepSeekの1.6兆パラメータモデルのポストトレーニングを完了

Beatingによると、深圳ヘタオ学院、ハルビン工業大学(深圳)、深圳ビッグデータ研究所、Huawei、Deepcity AIからなる共同チームが、中国国内のAIインフラ上で、1.6兆パラメータのモデル「DeepSeek-V4-Pro」に対するフルパラメータ・ポストトレーニングの成功裏の完了を発表した。これは、中国のハードウェアでこの規模のモデルに対するフルパラメータ・ポストトレーニングを、第三者組織が完了させたのが初めての事例となる。

チームは、通信のボトルネックを、最適化された分散ロードバランシングによって克服するために、1,000基超のHuawei Ascend 910Cチップからなるクラスタを活用した。1,500ステップの学習プロセスでは、システムが中断することなく稼働し、モデルFLOPs利用率(MFU)が30%超を達成するとともに、主要オペレータの効率を14%向上させ、産業グレードの性能基準を満たした。

免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし