Gate Newsメッセージ、4月24日 — DeepSeekのV4技術レポートによると、V4-FlashとV4-Proはそれぞれ32Tおよび33Tトークンで事前学習されており、V3で使用された約15Tトークンの約2倍です。レポートでは、学習中に「重大な不安定性の課題」に遭遇したことを認めており、損失スパイクがMixture-of-Experts (MoE)層の異常によって繰り返し発生していました。ルーティング機構そのものがこれらの異常を悪化させており、単純なロールバックでは問題を解決できないとしています。
DeepSeekは実際の学習に適用された2つの解決策をすでに導入しています。予測的ルーティングは、ルーティング・インデックスの計算をバックボーン・ネットワークの更新から切り離し、損失スパイクが検出されたときにのみ自動的にトリガーするもので、(約20%のオーバーヘッド)が追加されるとしています。SwiGLUクランピングは、活性値を固定範囲にクランプすることで異常を直接抑制します。レポートでは、どちらのアプローチも有効だと述べつつ、「基礎となる原理は十分に理解されていないままだ」と認めています。
以前にMeta AIやOpenAIで働いていたGoogle DeepMindの研究者であるSusan Zhangは、学習データを倍にしたことで引き起こされた不安定性が「遅れを説明する」とコメントしました。彼女は、その2つの解決策を「応急処置」と表現しながらも、DeepSeekの技術的な透明性を認めています。
免責事項：このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は
免責事項をご参照ください。
関連記事
GoogleはAnthropicに最大$40 Billionを投資する計画。5+ギガワットの計算能力を約束
Gate News メッセージ、4月24日 — 市場筋によると、GoogleはAnthropicに最大$40 billionを投資する計画だ。投資は、まず現金$10 billionから始まり、その後、指定されたマイルストーンの達成に応じてさらに最大$30 billionが追加される。
Googleはまた、提携の一環としてAnthropicに少なくとも5ギガワットの計算能力を提供する。
GateNews9分前
スイス当局 FINMA、Anthropic の Mythos AI ツールが金融リスクをもたらすと警告
ゲート・ニュース 4月24日 — スイスの金融市場監督当局 (FINMA) は、銀行が Anthropic の人工知能ツール Mythos を迅速かつ便利に導入できるようにすることは、重大なリスクをもたらすと述べた
GateNews32分前
DeepSeek V4 は 1M コンテキストウィンドウで登場。Huawei Ascend と Cambricon チップは完全な互換性を実現
ゲートニュース 4月24日 — DeepSeek V4-Pro と DeepSeek V4-Flash は 4月24日に正式にリリースされ、オープンソース化されました。コンテキスト処理長は 128K から 1M へ大幅に拡張され、ほぼ10倍の収容能力増を示しています。Huawei Computing は、その Ascend スーパーノード製品が
GateNews1時間前
Ethereal Ventures主導でFere AIが$1.3Mの資金調達ラウンドを完了
Gate Newsメッセージ、4月24日――Fere AIは、AIを活用したデジタル資産トレーディング・エージェント・プラットフォームであり、Ethereal Ventures主導による$1.3 millionの資金調達ラウンドの完了を発表した。Galaxy Vision HillおよびKosmos Venturesが参加した。
このプラットフォームは、Ethereumを含むクロスチェーン・ネットワークに対応している。
GateNews1時間前
Claude Code の変更をロールバック：品質低下の後、すべての修正は完了
ゲートニュース（4月24日）— アンソトロピックは、Claude Code の品質が最近低下したことを認め、ロールバックと修正によって関連するすべての問題が解決されたことを確認しました。問題の原因は、4月上旬から中旬にかけて行われた3つのプロダクトおよびプロンプトの調整にありました。
3月4日、
GateNews3時間前
NeoSoul共同創業者Kaelan：AI業界はおもちゃの存在を認めるべき。イノベーションはしばしば実験的な製品として始まる
Gate Newsメッセージ、4月24日――最近の香港での「インテリジェントな暗号化ファイナンス」に関するフォーラムで、NeoSoulの共同創業者Kaelanが、急速に進化するAI業界における初期段階でのAIプロジェクトの評価方法について見解を共有した。現在の製品を評価することに加えて、チームは基盤となるモデルの能力に合わせて追随できることを示さなければならないと、彼は述べた。「
GateNews3時間前
