Lightbits، ابتكار في تحسين كفاءة استنتاج الذكاء الاصطناعي يقلل من تكاليف السحابة

تسريع تقدم صناعة التكنولوجيا من خلال الابتكار في مجال الذكاء الاصطناعي (AI). أصدرت شركة Lightbits Labs مؤخرًا بنية جديدة تهدف إلى حل مشكلة عنق الزجاجة في الذاكرة أثناء استنتاجات الذكاء الاصطناعي واسعة النطاق. تم تطوير هذه البنية بالتعاون مع ScaleFlux وFarmGPU، وتجمع بين التخزين السريع للذاكرة غير المتطايرة، والبنية التحتية لاستنتاجات GPU، وبرمجيات Lightbits، لمساعدة أنظمة الذكاء الاصطناعي على إدارة ذاكرة التخزين المؤقت للبيانات الناتجة عن الاستنتاج بكفاءة أكبر.

في ظل الضغوط التكاليفية التي يواجهها موفرو الخدمات السحابية عند معالجة مهام الاستنتاج، من المتوقع أن يكون هذا الإعلان خبرًا سارًا. فقد أصبحت تكلفة وحدات GPU مرتفعة بشكل كبير، مما يشكل جزءًا كبيرًا من نفقات التشغيل، ولتحسين ذلك، حددت Lightbits هدفًا لتحسين استغلال GPU.

تعزز منصة Lightbits الجديدة كفاءة الاستنتاج من خلال زيادة عدد الطلبات التي يمكن لوحدة GPU واحدة معالجتها. وهذا يترجم مباشرة إلى تقليل تكلفة المعالجة لكل عملية، وهو أمر ذو أهمية كبيرة. أظهرت نتائج الاختبار أن Lightbits تمكنت من زيادة عدد الطلبات المعالجة على نفس GPU إلى ثلاثة أضعاف، مع تقليل تكاليف الكهرباء والبنية التحتية بنسبة 65%.

جوهر هذا الحل هو “ذاكرة التخزين المؤقت KV”. تخزن هذه الذاكرة المتجهات الوسيطة الناتجة عن عملية الاستنتاج، وتعيد استخدام النتائج المحسوبة سابقًا لتجنب العمليات غير الضرورية. ومع توسع حجم النماذج، يزداد حجم الذاكرة المؤقتة بشكل حاد. تتزايد متطلبات الذاكرة بأكثر من الضعف سنويًا، مما يتطلب جهودًا مشتركة لحل هذه المشكلة على المدى الطويل. لذلك، أدخلت Lightbits طريقة مبتكرة تتوقع حركة البيانات وتوفر المعلومات اللازمة إلى GPU مسبقًا.

نظام LightInferra قادر على إدارة وتسريع نقل البيانات عبر مستويات الذاكرة، ويصمم لضمان عدم انتظار GPU للبيانات. يمكن لهذا النظام أن يضمن سير عملية الاستنتاج بسلاسة ضمن حدود سعة ذاكرة GPU، مما يسمح لمقدمي الخدمات السحابية بتحسين استغلال GPU أو زيادة القدرة الإجمالية ضمن البنية التحتية الحالية. ويجري التعاون مع NeoCloud، ومن المخطط أن يبدأ التشغيل الإنتاجي في يوليو.