DeepSeek V4 以 1M 上下文窗口发布;华为 Ascend 与寒武纪芯片实现全面兼容

Gate News 消息,4月24日——DeepSeek V4-Pro 和 DeepSeek V4-Flash 已于4月24日正式发布并开源。其上下文处理长度由 128K 显著扩展至 1M,容量提升近 10 倍。华为计算宣布其 Ascend 超级节点产品通过芯片与模型技术的紧密协同,已全面支持 DeepSeek V4 系列模型。

华为 Ascend 950 通过融合算子内核与多流并行技术,实现高吞吐、低延迟的 DeepSeek V4 模型推理部署,从而降低 Attention 计算与内存访问开销。对于输入 8K 的 DeepSeek V4-Pro,Ascend 950 实现约 20ms TPOT,单卡 Decode 吞吐为 4,700 TPS;对于输入低于 8K 的 DeepSeek V4-Flash,其达到约 10ms TPOT,吞吐为 1,600 TPS。Ascend A3 超级节点系列也实现全面兼容,并提供训练参考实现以便快速进行微调。基于搭载大 EP 模式的 Ascend A3 64 卡超级节点,借助 vLLM 推理引擎,DeepSeek V4-Flash 在 8K/1K 输入输出场景下实现单卡 Decode 吞吐超过 2,000 TPS。华为全系列 Ascend A2、A3 和 950 产品线均支持 DeepSeek V4-Flash 与 V4-Pro。

华为云宣布与 DeepSeek V4 的率先兼容,通过其 MaaS 平台为开发者提供一键式 API Token 服务。华为云优化系统层、算子层与集群层能力,以确保快速模型适配与高性能部署。包括金山 WPS 和 360 在内的企业已通过华为云集成 DeepSeek 新模型。

寒武纪 同样宣布基于 vLLM 推理框架对 DeepSeek V4-Flash 和 V4-Pro 实现 Day 0 兼容,并将适配代码开源给 GitHub 社区。寒武纪此前在去年 DeepSeek V3.2 发布时已实现率先适配:通过对 DeepSeek 系列模型进行深度的软件-硬件协同性能优化。

Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar