Lightbits, інновації у підвищенні ефективності AI-розрахунків для зниження вартості хмарних сервісів

Прогрес у технологічній галузі швидко прискорюється завдяки інноваціям у сфері штучного інтелекту (AI). Lightbits Labs нещодавно представила нову архітектуру, спрямовану на вирішення проблеми пам’яті при масштабних AI-розрахунках. Ця архітектура, розроблена у співпраці з ScaleFlux та FarmGPU, поєднує швидке зберігання на нерозторгненій пам’яті, інфраструктуру для GPU-розрахунків та програмне забезпечення Lightbits, допомагаючи системам AI ефективніше керувати кешами даних під час розрахунків.

На тлі зростаючих витрат у хмарних провайдерів при обробці розрахункових завдань ця новина стане хорошою новиною. Висока вартість GPU вже є основною статтею витрат, тому Lightbits поставила за мету оптимізувати їх використання.

Нова платформа Lightbits підвищує ефективність розрахунків, збільшуючи кількість запитів, які може обробити один GPU. Це безпосередньо знижує вартість обробки одного запиту. За результатами тестування, їхня система на тому ж GPU збільшила кількість оброблюваних запитів у три рази та знизила витрати на електроенергію та інфраструктуру на 65%.

Ключовим елементом цієї рішення є “KV-кеш”. Він зберігає проміжні вектори, створені під час розрахунків, і повторно використовує попередні результати, уникаючи зайвих обчислень. Однак із зростанням масштабів моделей обсяг кешу швидко зростає. Вимоги до пам’яті подвоюються щороку, і довгострокове вирішення цієї проблеми вимагає зусиль з різних сторін. Для цього Lightbits запровадила інноваційний підхід, що передбачає прогнозування переміщення даних і попередню передачу необхідної інформації GPU.

Система LightInferra здатна керувати переміщенням даних між рівнями пам’яті та прискорювати цей процес, забезпечуючи відсутність очікування GPU. Вона гарантує безперебійну роботу розрахунків у межах обсягу пам’яті GPU. Хмарні провайдери можуть використовувати цю архітектуру для оптимізації використання GPU або підвищення загальної продуктивності на існуючій інфраструктурі. Спільно з NeoCloud ця архітектура планується запустити у виробництво з липня.