التطورات في نماذج لغة الرؤية: من الصورة الواحدة إلى فهم الفيديو

جيسي أ إليس

فبراير 26, 2025 09:32

استكشاف تطور نماذج لغة الرؤية (VLMs) من تحليل الصورة الفردية إلى فهم الفيديو الشامل، مبرزا قدراتها في تطبيقات مختلفة.

نماذج لغة الرؤية (VLMs) تطورت بسرعة، محولة منظر الذكاء الاصطناعي الإنشائي من خلال دمج الفهم البصري مع نماذج لغة كبيرة (LLMs). تم تقديم VLMs في البداية في عام 2020، وكانت تقتصر على النصوص وإدخالات الصورة الفردية. ومع ذلك، قد تم توسيع قدراتها مؤخرًا لتشمل إدخالات الصور المتعددة والفيديو، مما يمكن من تنفيذ مهام الرؤية واللغة المعقدة مثل الإجابة على الأسئلة البصرية، وكتابة التسميات، والبحث، والتلخيص.

تعزيز دقة VLM

وفقًا لشركة NVIDIA، يمكن تحسين دقة VLM لحالات الاستخدام المحددة من خلال الهندسة السريعة وضبط وزن النموذج. تسمح تقنيات مثل PEFT بإجراء ضبط دقيق بكفاءة، على الرغم من أنها تتطلب موارد بيانات وحسابية كبيرة. من ناحية أخرى، يمكن للهندسة السريعة تحسين جودة الإخراج من خلال ضبط مدخلات النص في وقت التشغيل.

فهم الصورة الفردية

تتفوق VLMs في فهم الصورة الفردية من خلال تحديد وتصنيف والاستدلال على محتوى الصورة. يمكنها تقديم وصف مفصل وحتى ترجمة النصوص داخل الصور. بالنسبة للبث المباشر، يمكن لـ VLMs اكتشاف الأحداث من خلال تحليل الإطارات الفردية، على الرغم من أن هذه الطريقة تقيد قدرتها على فهم الديناميات الزمنية.

فهم الصور المتعددة

تتيح قدرات الصور المتعددة لـ VLMs مقارنة الصور ومقارنتها، مما يوفر سياقًا محسنًا للمهام الخاصة بالمجال. على سبيل المثال، في التجزئة، يمكن لـ VLMs تقدير مستويات المخزون من خلال تحليل صور أرفف المتجر. يعزز توفير سياق إضافي، مثل الصورة المرجعية، دقة هذه التقديرات بشكل كبير.

فهم الفيديو

النماذج اللغوية الرائدة الآن تمتلك قدرات فهم الفيديو، حيث تقوم بمعالجة العديد من الإطارات لفهم الإجراءات والاتجاهات مع مرور الوقت. وهذا يمكنها من التعامل مع الاستفسارات المعقدة حول محتوى الفيديو، مثل تحديد الإجراءات أو الشذوذات داخل سلسلة. يلتقط فهم الرؤية التسلسلية تقدم الأحداث، بينما تقنيات العثور الزمني مثل LITA تعزز قدرة النموذج على تحديد متى تحدث الأحداث المحددة.

على سبيل المثال، يمكن لجهاز VLM تحليل فيديو مستودع وتحديد عامل يفقد صندوقًا، وتقديم ردود مفصلة حول المشهد والمخاطر المحتملة.

لاستكشاف الإمكانات الكاملة ل VLMs ، تقدم NVIDIA موارد وأدوات للمطورين. يمكن للأفراد المهتمين التسجيل في ندوات عبر الإنترنت والوصول إلى نماذج سير العمل على منصات مثل GitHub لتجربة VLMs في تطبيقات مختلفة.

لمزيد من الرؤى حول VLMs وتطبيقاتها، قم بزيارة مدونة NVIDIA.

مصدر الصورة: شترستوك