Sakana AI と Nvidia は、H100 GPU が大規模言語モデルにおいて精度を損なうことなく不正確な計算の 80% をスキップできるようにする疎データ形式の TwELL をオープンソース化しました。この解決策は、H100 上で推論を最大 30% 高速化し、学習を 24% 高速化するとともに、ピーク時のメモリ使用量を削減します。1.50 億パラメータのモデルでのテストでは、この手法により学習中の軽量な正則化によってアクティブなニューロンが 2% 未満に抑えられ、7 つの下流タスクすべてで性能の低下は見られませんでした。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
