Google DeepMind 高管:每一家 AI 产品公司都应构建定制基准

Gate News 消息,4月27日——Google DeepMind 高级产品经理、Google AI Studio 产品负责人 Logan Kilpatrick 在 X 上表示,所有构建基于 AI 的产品的公司都应建立各自的定制基准,以衡量 AI 模型的性能。他将其描述为一种方法,用于让模型改进“对贵公司产生不成比例的收益”,并敦促创始人和商业领袖“从明天开始。”

目前,大多数公司依赖公开排行榜来选择 AI 模型,但这些榜单衡量的是通用能力,往往与特定业务场景不匹配。Kilpatrick 举例称,一家合同审查公司最关心的是条款提取的准确性——而这项能力在公开基准中缺失,导致无法评估模型在该任务上的表现。定制基准具有两项关键优势:首先,它们使公司能够针对自身业务任务评估每一次模型更新,并选择在实际使用场景中表现最佳的模型,而不是选择总体排名最高的模型;其次,它们允许公司将这些测试集与模型提供方共享,从而在与业务相关的领域推动持续优化。

Kilpatrick 指出,像 Zapier 和 Sierra 这样的公司已经在采用这种做法,并表示“这里可以创造出大量的 α(超额收益/优势)。”

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات