0G Labs повідомляє про прорив децентралізованого ШІ на 107B, висвітлюючи економічне навчання та плани відкритого коду

Коротко

0G Labs повідомила про навчання моделі DiLoCoX з 107 мільярдами параметрів — більшої за систему Bittensor — за допомогою економічно ефективного децентралізованого підходу, а також почала її відкриту повторну тренування з повною прозорістю та запланованим відкритим вихідним кодом.

0G Labs, розробник інфраструктури блокчейну для агентів штучного інтелекту, повідомила, що приблизно вісім місяців тому вона навчила модель з 107 мільярдами параметрів, що приблизно на 48 відсотків більша за модель, створену Bittensor, і є найбільшою задокументованою децентралізованою системою штучного інтелекту на сьогоднішній день.

Модель, відома як DiLoCoX-107B, була навчена у липні 2025 року за технологією, розробленою у партнерстві з China Mobile, найбільшим у світі оператором мобільного зв’язку. За даними рецензованих досліджень, опублікованих на arXiv, система досягла рівнів ефективності комунікації у 357 разів вищих за традиційні методи AllReduce при роботі через стандартне інтернет-з’єднання швидкістю 1 Гбіт/с, що свідчить про можливість навчання передових моделей штучного інтелекту без високих витрат на дата-центри.

Перші результати тренування показали, що архітектури розподілених обчислень можуть конкурувати з централізованими підходами на найвищих рівнях розвитку моделей. Хоча компанії, такі як OpenAI, Google і Meta, інвестують значні кошти у великомасштабні GPU-кластері, 0G Labs повідомила, що її розподілена структура може зменшити витрати приблизно на 95 відсотків, згідно з даними Forbes. Система працює на децентралізованих вузлах, з’єднаних через широко доступну інтернет-інфраструктуру.

У порівнянні з цим, модель Bittensor Covenant-72B, розроблена на мережі Subnet 3 групою учасників, вважається значним досягненням у сфері децентралізованого штучного інтелекту. Однак 0G Labs заявила, що її попередні роботи вже довели можливість тренування моделей більшого масштабу, підтверджену рецензованими дослідженнями.

Компанія також оголосила, що розпочинає новий етап, пов’язаний із публічним повторним тренуванням DiLoCoX-107B, підкреслюючи прозорість і стратегію відкритого вихідного коду. Це зусилля має на меті встановити чіткіші стандарти для перевіряємого розвитку штучного інтелекту.

Після завершення оновлена модель буде випущена з повним публічним доступом до її ваг, контрольних точок і показників продуктивності. Процес повторного тренування також передбачає всебічну документацію, що охоплює джерела даних, метрики тренування та механізми перевірки, включаючи валідацію на основі довірених середовищ виконання.

Повноцінна інфраструктура для перевіряємого штучного інтелекту

На відміну від систем, створених переважно для експериментальних цілей, DiLoCoX-107B інтегрована у ширшу блокчейн-інфраструктуру, розроблену для агентів штучного інтелекту. Це включає виробничий стек із сумісним з EVM шаром один блокчейн, децентралізовані обчислювальні ресурси, розподілене зберігання та високопродуктивний рівень доступності даних, що значно швидший і дешевший за аналогічні рішення, наприклад, Ethereum.

Компанія заявила, що така інфраструктура має підтримувати не лише тренування моделей, а й перевіряємі висновки, безпечне зберігання та ончейн-розрахунки, що відповідає ширшим операційним вимогам екосистем агентів штучного інтелекту.

Система використовує кілька технічних підходів, зокрема конвеєрний паралелізм, координацію двох оптимізаторів між локальними та глобальними оновленнями, відкладену синхронізацію для безперервного тренування та адаптивне стиснення градієнтів для зменшення обсягу комунікацій при збереженні точності роботи.

0G Labs повідомила, що процес повторного тренування наразі триває, і всі відповідні дані, методології та результати будуть оприлюднені протягом усього часу. Остаточна модель буде випущена під ліцензією з відкритим кодом із повним доступом до артефактів тренування.