DeepSeek-DeepSeek~V3技术报告-250206

- DeepSeek-V3是一款强大的混合专家语模型，总参数达到671B，具有高效推理和成本效益的训练能力。

- 该模型通过多头潜在注意和负载平衡策略实现了显著的性能提升，并在148万亿高质量token上进行了预训练。

- 评估结果显示，DeepSeek-V3的表现优于其他开源模型，且其训练过程稳定，无不可恢复的损失。