Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的奠基性论文《The Bitter Lesson》翻译成九种语言，并将其交由 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器进行处理，对六个主要 AI 模型的分词效率进行了对比分析。研究以在 OpenAI 上使用英文版本的分词数量作为基准 (1x)，结果显示出显著差异：在 Claude 上处理相同内容需要的代币（tokens）为 1.65 倍，而在 OpenAI 上仅为 1.15 倍。印地语在 Claude 上的结果更为极端，较基准高出超过 3 倍。在所测试的六个模型中，Anthropic 的表现最低。
关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准来衡量——结果出现了惊人的分歧：Kimi 消耗的代币仅为 0.81 倍 (，甚至比英文还少)；Qwen 为 0.85 倍；而 Claude 需要 1.65 倍。这个差距揭示的是纯粹的分词效率问题，而非语言本身的问题。中文模型在处理中文时展现出更高的效率，这表明差异源于分词器的优化，而不是语言属性。
对用户而言，其实际影响相当可观：代币消耗的增加会直接推高 API 成本，延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文数据上训练，那么对英文文本的压缩会更高效；而数据代表性较低的语言，则会被分割成更小、效率更低的片段。
Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场往往带来更好的优化；而在市场中代表性不足的语言，将面临显著更高的代币成本。
免责声明：本页面信息可能来自第三方，不代表 Gate 的观点或意见。页面显示的内容仅供参考，不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证，对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为，价格波动剧烈，您可能损失全部投资本金。请充分了解相关风险，并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
AI 平台 Certifyde 携 Ripple 首席执行官 Brad Garlinghouse 在种子轮融资中筹集 $2M
据链捕手消息，AI 应用平台 Certifyde 宣布已完成一轮 $2 百万美元的种子轮融资。投资方包括 K5 Global、Flamingo Capital，以及天使投资人，例如 Ripple 首席执行官 Brad Garlinghouse、Honey 联合创始人 George Ruan，以及 Nutra 联合创始人 Roland Peralta
GateNews1小时前
DeepSeek 在测试版中上线图像识别功能
据 PANews 报道，DeepSeek 于今日 (年4月29日) 推出其图像识别功能，目前处于测试版阶段。网页端和移动端应用用户都可能被选入此次测试版推送。
GateNews2小时前
Anthropic 为 Claude 推出 8 个创意工具连接器，包含 Blender、Adobe、Autodesk
Anthropic 已宣布一套创意工具连接器，能够让 Claude 直接控制设计师和音乐人使用的专业软件。最初的八个连接器涵盖 3D 建模、视觉设计、音乐制作和现场表演，合作伙伴包括 Blender、Adobe、Autodesk、Ableton、Splice、Canva 的 Affinity、Resolume 和 SketchUp。Blender 连接器由 Blender 官方团队使用 MCP 协议开发，使其他 AI 模型也能访问它。
GateNews2小时前
白宫绕过五角大楼风险评估：将于4月29日部署 Anthropic Mythos 模型
据“鲸鱼因素”（Whale Factor）称，白宫正在绕过五角大楼的风险评估，计划于4月29日将 Anthropic 的 Mythos 模型部署到各联邦机构。此举旨在加速联邦人工智能能力，并与去中心化人工智能网络的步伐保持一致。这代表了相较于此前供应链争议的重大转变
GateNews2小时前
Cognizant将收购Astreya，以扩展人工智能基础设施业务
据路透社报道，4月29日，Cognizant同意以约 $600 百万美元收购Astreya，以扩展其人工智能基础设施业务。Astreya是一家专注于人工智能基础设施和数据中心服务的IT服务提供商。该交易预计将在第二季度完成
GateNews2小时前
伪装为 AI 工具的 30 个恶意插件在 ClawHub 上被下载超过 9,800 次
据 Manifold 研究员 Ax Sharma 称，ClawHub 上共有 30 个以合法 AI 工具为幌子的插件已被下载超过 9,800 次，同时在暗中将用户的 AI 助手转换为加密货币劳工。这些插件由账号 imaflytok 发布，看起来像常规的任务调度器和监控工具，但其中包含会执行未经授权操作的隐藏指令。
一旦安装，这些插件会自动将用户的 AI 助手注册到第三方服务器，生成加密货币钱包，并在未经用户同意或告知的情况下提取私钥。随后，这些助手每 4 小时“报到”一次，等待任务分配。Sharma 指出，这些插件不包含安全扫描器可检测到的恶意代码，仅使用标准接口和合法工具，因此很难通过常规安全审查识别出来。
GateNews2小时前
