DeepSeek V3 技术报告VIP免费

DeepSeek-V3 技术报告DeepSeek-AIresearch@deepseek.com摘要我们推出了 DeepSeek-V3，这是⼀个强⼤的混合专家（MoE）语⾔模型，总参数为 671B，每个 token激活 37B。为了实现⾼效推理和具有成本效益的训练，DeepSeek-V3 采⽤了多头潜在注意⼒（MLA）和DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了充分验证。此外，DeepSeek-V3 开创了⼀种⽆辅助损失的负载平衡策略，并设定了多 token 预测训练⽬标，以实现更强的性能。我们在 148 万亿个多样化和⾼质量的 token 上对 DeepSeek-V3 进⾏了预训练，随后进⾏了监督微调和强化学习阶段，以充分发挥其能⼒。全⾯评估表明，DeepSeek-V3 的表现优于其他开源模型，并且其性能可与领先的闭源模型相媲美。尽管表现出⾊，DeepSeek-V3 的完整训练仅需 2.788M H800 GPU ⼩时。此外，其训练过程⾮常稳定。在整个训练过程中，我们没有经历任何不可恢复的损失峰值，也没有进⾏任何回滚。模型检查点可在https://github.com/deepseek-ai/DeepSeek-V3.MMLU-Pro(EM)GPQA-Diamond(Pass@1)MATH 500(EM)AIME 2024(Pass@1)Codeforces(Percentile)SWE-bench 已验证(Resolved)020406080100准确率 / 百分位 (%)75.959.190.239.251.642.066.241.374.716.735.622.671.649.080.023.324.8 23.873.351.173.823.325.3 24.572.649.974.69.323.638.878.065.078.316.020.350.8DeepSeek-V3 DeepSeek-V2.5 Qwen2.5-72B-Inst Llama-3.1-405B-Inst GPT-4o-0513 Claude-3.5-Sonnet-1022图 1 | DeepSeek-V3 及其对应模型的基准性能。arXiv:2412.19437v1 [cs.CL] 2024 年 12 ⽉ 27 ⽇内容1 引⾔ 42架构 62.1 基本架构62.1.1 多头潜在注意⼒72.1.2 DeepSeekMoE 与⽆辅助损失负载平衡82.2多标记预测103基础设施 113.1 计算集群113.2 训练框架123.2.1 DualPipe 和计算-通信重叠123.2.2 跨节点全到全通信的⾼效实现133.2.3 极低开销的极致内存节省143.3FP8 训练143.3.1 混合精度框架153.3.2 量化和乘法带来的精度提升163.3.3 低精度存储和通信183.4推理与部署183.4.1 预填充193.4.2 解码193.5硬件设计建议203.5.1 通信硬件203.5.2 计算硬件204预训练 224.1 数据构建224.2超参数224.3⻓上下⽂扩展234.4评估244.4.1 评估基准244.4.2 评估结果254.5讨论264.5.1 多标记预测的消融研究264.5.2 辅助损失⾃由平衡策略的消融研究2724.5.3 批量负载平衡 VS. 序列负载...