Mensaje de Gate News, 27 de abril — Logan Kilpatrick, gerente de producto senior en Google DeepMind y responsable de producto de Google AI Studio, afirmó en X que cada empresa que construye productos basados en IA debe establecer sus propios puntos de referencia personalizados para medir el rendimiento de los modelos de IA. Lo describió como una forma para que las mejoras del modelo “beneficien de manera desproporcionada a tu empresa” y exhortó a los fundadores y líderes empresariales a “empezar mañana.”

La mayoría de las empresas actualmente dependen de rankings públicos para seleccionar modelos de IA, pero estos miden capacidades generales que a menudo no se alinean con escenarios empresariales específicos. Kilpatrick citó el ejemplo de una empresa de revisión de contratos que se centra principalmente en la precisión de la extracción de cláusulas, una capacidad ausente en los puntos de referencia públicos, lo que hace imposible evaluar el rendimiento del modelo en esa tarea. Los puntos de referencia personalizados ofrecen dos ventajas clave: primero, permiten a las empresas evaluar cada actualización de modelo frente a sus propias tareas de negocio y seleccionar el modelo que mejor se desempeña en su caso de uso real en lugar del modelo mejor clasificado en general; segundo, permiten a las empresas compartir estos conjuntos de prueba con los proveedores de modelos, impulsando la optimización continua en las áreas que importan para su negocio.

Kilpatrick señaló que empresas como Zapier y Sierra ya están implementando este enfoque, afirmando que “aquí se puede crear mucho alpha”.

Ver fuente

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.