Databricks 称：顶级 AI 模型在日常企业任务中落后 更小的专用模型表现更佳

Gate News 消息，4 月 20 日——据 Databricks 的 David Meyer 称，顶级 AI 模型擅长解决诸如奥林匹克竞赛数学这类复杂问题，但在日常企业工作中却表现吃力。某些模型可能会把错误的发票号码改正掉，而不是将其标记为错误；此外，像 Claude 这样的编程工具在数据工程任务上也可能表现不佳。

这种差距源于企业数据与用于训练大型模型的公开网络文本之间的根本差异。企业数据往往包含含糊的列标签、大量空白字段，以及以纯文本形式存储的代码。在一项学术研究中，用于平衡精确率与召回率的 AI 模型 F1 分数在数据工程任务上，从公开数据的 0.94 降至企业数据的 0.07。除此之外，大型模型往往会默认采用训练中熟悉的模式；例如，即使在收到公司专有查询语言的指令和文档之后，仍有模型默认使用结构化查询语言 (SQL)。

经过强化学习调优的小型开源模型能够以更高效率、更远低于大型通用模型的训练成本处理特定工作。Databricks 正在为特定工作流构建更小的 AI 代理，例如 KARL，它使用强化学习来结合公司文档进行多步骤推理。该行业正在从依赖巨型模型转向混合架构：由小而高效的模型处理常规的海量任务，然后只在遇到不清楚或复杂的案例时，才将其升级到更大、更昂贵的系统。

Databricks 最近收购 Quotient AI，帮助大型企业更可靠地运行 AI 代理。如今 AI 业务中的竞争，围绕的是运行完整的 AI 生命周期，包括用于追踪错误的反馈系统，并随时间持续改进模型，这使得评估与调优工具在部署之后变得愈发有价值。