0G Labs、1070億の分散型AIのブレークスルーを報告、コスト効率の良いトレーニングとオープンソース計画を強調

概要

0G Labsは、Bittensorのシステムよりも大きい1070億パラメータのDiLoCoXモデルを、コスト効率の高い分散型アプローチを用いて訓練し、完全な透明性のもとで再訓練を開始、オープンソース公開を計画していることを報告しました。

0G Labsは、人工知能エージェント向けのブロックチェインインフラを開発する企業であり、約8ヶ月前に1070億パラメータのモデルを訓練したと発表しました。これは、Bittensorが開発したモデルより約48％大きく、これまでで最大の分散型AIシステムと記録されています。

このモデルはDiLoCoX-107Bと呼ばれ、2025年7月に、中国移動と提携して開発された技術を用いて訓練されました。arXivに公開された査読付き研究によると、このシステムは標準の1Gbpsインターネット接続で動作した場合、従来のAllReduce方式より357倍高い通信効率を達成しており、高コストなデータセンターインフラに頼らずに高度なAI訓練が可能であることを示唆しています。

初期の訓練結果は、分散コンピューティングアーキテクチャが、最先端のモデル開発において中央集権型アプローチと競合できることを示しました。OpenAI、Google、Metaなどの企業が大規模GPUクラスターに多額の投資を行う一方、0G Labsは、その分散フレームワークによりコストを約95％削減できると報告しています（Forbesの資料による）。このシステムは、広く利用可能なインターネットインフラを通じて接続された分散ノード上で動作します。

一方、BittensorのCovenant-72Bモデルは、Subnet 3ネットワーク上の貢献者グループによって開発され、分散型AI分野での重要な進展とされています。しかし、0G Labsは、既により大規模なモデルの訓練の実現性を査読付きの検証を通じて示していたと述べています。

さらに、同社はDiLoCoX-107Bの公開再訓練の新フェーズを開始したことを発表し、透明性とオープンソース公開戦略を強調しています。この取り組みは、検証可能なAI開発のための明確な基準を確立することを目的としています。

完了後、更新されたモデルは、その重み、チェックポイント、性能指標に完全に公開される予定です。再訓練には、データソース、訓練指標、検証メカニズム（信頼できる実行環境に基づく検証を含む）に関する詳細なドキュメントも含まれる見込みです。

検証可能なAIのためのフルスタックインフラ

DiLoCoX-107Bは、実験目的で開発されたシステムとは異なり、AIエージェント向けのブロックチェーンベースのインフラ全体に統合されています。これには、EVM互換のレイヤー1ブロックチェーン、分散コンピューティングリソース、分散ストレージ、Ethereumなどの類似ソリューションよりも高速かつコスト効率の高い高性能なデータ可用性層が含まれます。

同社は、このインフラがモデル訓練だけでなく、検証可能な推論、安全なストレージ、オンチェーン決済プロセスもサポートし、AIエージェントエコシステムの運用全体を支えることを意図していると述べています。

このシステムは、パイプライン並列処理、ローカルとグローバルの更新を調整する二重最適化、継続的訓練を可能にする遅延同期、通信負荷を削減しつつ性能精度を維持する適応的勾配圧縮など、複数の技術的アプローチを採用しています。

0G Labsは、再訓練の進行中であり、関連するすべてのデータ、手法、結果を公開していくと述べています。最終的なモデルはオープンソースライセンスの下で公開され、訓練アーティファクトへの完全なアクセスが提供される予定です。