Avances en modelos de lenguaje visual: desde la comprensión de imágenes individuales hasta la comprensión de videos

Jessie A Ellis

Feb 26, 2025 09:32

Explore la evolución de los modelos de lenguaje de visión (VLMs) desde el análisis de una sola imagen hasta la comprensión integral del video, destacando sus capacidades en diversas aplicaciones.

! Avances en los modelos de lenguaje de visión: de la comprensión de una sola imagen a la comprensión de video

Los modelos de lenguaje de visión (VLMs) han evolucionado rápidamente, transformando el panorama de la IA generativa al integrar la comprensión visual con grandes modelos de lenguaje (LLMs). Inicialmente introducidos en 2020, los VLMs estaban limitados a entradas de texto y una sola imagen. Sin embargo, los avances recientes han ampliado sus capacidades para incluir entradas de múltiples imágenes y videos, lo que permite tareas complejas de visión y lenguaje como la respuesta a preguntas visuales, la descripción, la búsqueda y la sumarización.

Mejora de la precisión de VLM

Según NVIDIA, la precisión de VLM para casos de uso específicos puede mejorarse mediante ingeniería rápida y ajuste de pesos del modelo. Técnicas como PEFT permiten un ajuste fino eficiente, aunque requieren recursos significativos de datos y computación. Por otro lado, la ingeniería rápida puede mejorar la calidad de salida ajustando las entradas de texto en tiempo de ejecución.

Comprensión de una sola imagen

Los VLMs sobresalen en la comprensión de imágenes individuales al identificar, clasificar y razonar sobre el contenido de la imagen. Pueden proporcionar descripciones detalladas e incluso traducir texto dentro de imágenes. Para transmisiones en vivo, los VLMs pueden detectar eventos analizando cuadros individuales, aunque este método limita su capacidad para entender la dinámica temporal.

Comprensión de múltiples imágenes

Las capacidades de múltiples imágenes permiten a los VLM comparar y contrastar imágenes, lo que ofrece un contexto mejorado para tareas específicas del dominio. Por ejemplo, en el comercio minorista, los VLM pueden estimar los niveles de existencias mediante el análisis de imágenes de los estantes de las tiendas. Proporcionar contexto adicional, como una imagen de referencia, mejora significativamente la precisión de estas estimaciones.

Comprensión de video

Los VLM avanzados ahora poseen capacidades de comprensión de video, procesando muchos fotogramas para comprender acciones y tendencias a lo largo del tiempo. Esto les permite abordar consultas complejas sobre el contenido de video, como identificar acciones o anomalías dentro de una secuencia. La comprensión visual secuencial captura la progresión de eventos, mientras que las técnicas de localización temporal como LITA mejoran la capacidad del modelo para señalar cuándo ocurren eventos específicos.

Por ejemplo, un VLM que analiza un video de almacén puede identificar a un trabajador que deja caer una caja, proporcionando respuestas detalladas sobre la escena y posibles peligros.

Para explorar todo el potencial de VLMs, NVIDIA ofrece recursos y herramientas para desarrolladores. Las personas interesadas pueden registrarse para seminarios web y acceder a flujos de trabajo de muestra en plataformas como GitHub para experimentar con VLMs en diversas aplicaciones.

Para obtener más información sobre VLMs y sus aplicaciones, visite el blog de NVIDIA.

Fuente de la imagen: Shutterstock