Tether запускає BitNet LoRA Framework на всіх платформах

• Технологія BitNet LoRA від Tether дозволяє тренувати моделі штучного інтелекту на смартфонах, GPU та споживчих пристроях.

• Система зменшує використання пам’яті та підвищує продуктивність, знижуючи вимоги до VRAM до 77,8%.

• Користувачі можуть тонко налаштовувати моделі до 13 мільярдів параметрів на мобільних пристроях, розширюючи можливості edge AI.

Tether оголосила про нову платформу штучного інтелекту через свою платформу QVAC Fabric, яка дозволяє кросплатформенне тренування BitNet LoRA на споживчих пристроях. Оновлення дозволяє запускати моделі з мільярдами параметрів на смартфонах і GPU. Генеральний директор Паоло Ардойно поділився цим розвитком, підкреслюючи зниження витрат і ширший доступ до інструментів AI.

Кросплатформенне тренування AI розширює доступ

Оновлення QVAC Fabric вводить підтримку кросплатформеного тонкого налаштування BitNet LoRA. Це дозволяє запускати моделі AI на різних апаратних засобах і операційних системах.

Зокрема, платформа підтримує GPU від AMD, Intel та Apple, включаючи мобільні чипсети. Вона також використовує бекенди Vulkan і Metal для сумісності.

За словами Tether, це перший випадок, коли BitNet LoRA працює на такій широкій кількості пристроїв. В результаті користувачі можуть тренувати моделі на звичайному обладнанні.

Підвищення продуктивності на споживчому обладнанні

Система зменшує потребу у пам’яті та обчислювальних ресурсах, поєднуючи техніки BitNet і LoRA. BitNet стискає ваги моделі у спрощені значення, а LoRA обмежує кількість тренуваних параметрів.

Разом ці методи значно знижують вимоги до апаратного забезпечення. Наприклад, інференс на GPU працює вдвічі або вдесятеро швидше, ніж на CPU на мобільних пристроях.

Крім того, використання пам’яті зменшується різко у порівнянні з моделями з повною точністю. Бенчмарки показують зменшення використання VRAM до 77,8% у порівнянні з аналогічними системами.

Tether також продемонструвала тонке налаштування на смартфонах. Тести показали, що моделі з 125 мільйонами параметрів можна навчати за кілька хвилин на пристроях, таких як Samsung S25.

Мобільні та edge-пристрої обробляють більші моделі

Ця платформа дозволяє запускати більші моделі на edge-пристроях. Tether повідомила про успішне тонке налаштування моделей до 13 мільярдів параметрів на iPhone 16.

Крім того, система підтримує мобільні GPU, такі як Adreno, Mali та Apple Bionic. Це розширює можливості AI за межі спеціалізованого обладнання.

За словами Паоло Ардойно, розвиток AI часто залежить від дорогих інфраструктур. Він зазначив, що ця платформа змінює ситуацію, сприяючи локальним пристроям.

Tether додала, що система зменшує залежність від централізованих платформ і дозволяє користувачам тренувати та обробляти дані безпосередньо на своїх пристроях.