Google DeepMind 高管：每一家 AI 产品公司都应构建定制基准

Gate News 消息，4月27日——Google DeepMind 高级产品经理、Google AI Studio 产品负责人 Logan Kilpatrick 在 X 上表示，所有构建基于 AI 的产品的公司都应建立各自的定制基准，以衡量 AI 模型的性能。他将其描述为一种方法，用于让模型改进“对贵公司产生不成比例的收益”，并敦促创始人和商业领袖“从明天开始。”

目前，大多数公司依赖公开排行榜来选择 AI 模型，但这些榜单衡量的是通用能力，往往与特定业务场景不匹配。Kilpatrick 举例称，一家合同审查公司最关心的是条款提取的准确性——而这项能力在公开基准中缺失，导致无法评估模型在该任务上的表现。定制基准具有两项关键优势：首先，它们使公司能够针对自身业务任务评估每一次模型更新，并选择在实际使用场景中表现最佳的模型，而不是选择总体排名最高的模型；其次，它们允许公司将这些测试集与模型提供方共享，从而在与业务相关的领域推动持续优化。

Kilpatrick 指出，像 Zapier 和 Sierra 这样的公司已经在采用这种做法，并表示“这里可以创造出大量的 α（超额收益/优势）。”