中国基金报记者泰勒
大家好，一起关注一下关于DeepSeek的最新消息！
当市场以为DeepSeek的开源周内容发布完毕之后，3月1日，DeepSeek宣布了“OneMoreThing”，突然揭秘V3/R1推理系統，公开了大规模部署成本和收益。
根据《DeepSeek-V3/R1推理系统概览》的文章，
为了实现这两个目标，DeepSeek使用大规模跨节点专家并行（ExpertParallelism/EP）。首先EP使得batchsize大大增加，从而提高GPU矩阵乘法的效率，提高吞吐。其次EP使得专家分散在不同的GPU上，每个GPU只需要计算很少的专家（因此更少的访存需求），从而降低延迟。
但EP同时也增加了系统的复杂性。复杂性主要体现在两个方面：
EP引入跨节点的传输。为了优化吞吐，需要设计合适的计算流程使得传输和计算可以同步进行。
EP涉及多个节点，因此天然需要DataParallelism（DP），不同的DP之间需要进行负载均衡。
因此，DeepSeek介绍了如何使用EP增大batchsize，如何隐藏传输的耗时，如何进行负载均衡。
由于DeepSeek-V3/R1的专家数量众多，并且每层256个专家中仅激活其中8个。模型的高度稀疏性决定了必须采用很大的overallbatchsize，才能给每个专家提供足够的expertbatchsize，从而实现更大的吞吐、更低的延时。需要大规�？缃诘阕也⑿校‥xpertParallelism/EP）。
采用多机多卡间的专家并行策略来达到以下目的：
多机多卡的专家并行会引入比较大的通信开销，所以使用了双batch重叠来掩盖通信开销，提高整体吞吐。
对于prefill阶段，两个batch的计算和通信交错进行，一个batch在进行计算的时候可以去掩盖另一个batch的通信开销；
对于decode阶段，不同阶段的执行时间有所差别，所以把attention部分拆成了两个stage，共计5个stage的流水线来实现计算和通信的重叠。
由于采用了很大规模的并行（包括数据并行和专家并行），如果某个GPU的计算或通信负载过重，将成为性能瓶颈，拖慢整个系统；同时其他GPU因为等待而空转，造成整体利用率下降。因此需要尽可能地为每个GPU分配均衡的计算负载、通信负载。
核心问题：不同数据并行（DP）实例上的请求个数、长度不同，导致core-attention计算量、dispatch发送量也不同。
优化目标：各GPU的计算量尽量相同（core-attention计算负载均衡）、输入的token数量也尽量相同（dispatch发送量负载均衡），避免部分GPU处理时间过长。
核心问题：不同数据并行（DP）实例上的请求数量、长度不同，导致core-attention计算量（与KVCache占用量相关）、dispatch发送量不同。
优化目标：各GPU的KVCache占用量尽量相同（core-attention计算负载均衡）、请求数量尽量相同（dispatch发送量负载均衡）。
核心问题：对于给定MoE模型，存在一些天然的高负载专家（expert），导致不同GPU的专家计算负载不均衡。
优化目标：每个GPU上的专家计算量均衡（即最小化所有GPU的dispatch接收量的最大值）。
DeepSeekV3和R1的所有服务均使用H800GPU，使用和训练一致的精度，即矩阵计算和dispatch传输采用和训练一致的FP8格式，core-attention计算和combine传输采用和训练一致的BF16，最大程度保证了服务效果。
另外，由于白天的服务负荷高，晚上的服务负荷低，因此实现了一套机制，在白天负荷高的时候，用所有节点部署推理服务。晚上负荷低的时候，减少推理节点，以用来做研究和训练。在最近的24小时里（北京时间2025/02/2712：00至2025/02/2812：00），DeepSeek
有网友将DeepSeek与OpenAI进行对比，表示：“‘成本利润率545%’，等一下，所以你是说我被OpenAI抢劫了？”
就在DeepSeek披露大规模部署成本和收益之后，潞晨科技突然宣布：“尊敬的用户，潞晨云将在一周后停止提供DeepSeekAPI服务，请尽快用完您的余额。如果没用完，w66国际·利来(中国)最给力的老牌全额退款。
此前2月4日晚间，华为计算微信公众号发文表示，DeepSeek-R1系列模型的开源，因其出色的性能和低廉的开发成本，已引发全球的热切讨论和关注。潞晨科技携手昇腾，联合发布基于昇腾算力的DeepSeek-R1系列推理API，及云镜像服务。
但近期潞晨科技CEO尤洋指出，满血版DeepSeek-R1每百万token（输出）定价16元，如果每日输出1000亿token，一个月算下来接入方企业可获得4800万元收入。据他测算，完成1000亿token的输出，需要约4000台搭载H800的机器，以目前H800的市价或者折旧来计算，每月仅机器成本就达4.5亿元，因此企业方可能面临每月4亿元的亏损，“用户越多，服务成本越高，亏损越多”。
3月1日下午4点，
公开资料显示，潞晨科技是一家致力于“解放AI生产力”的全球性企业，团队核心成员来自美国加州大学伯克利分校，斯坦福大学，清华大学，北京大学等国内外知名高校。主营业务包括分布式软件系统，大规模人工智能平台，以及企业级云计算解决方案。公司旨在打造一个开源低成本AI大模型开发系统Colossal-AI，作为深度学习框架的内核，帮助企业最大化人工智能训练效率的同时最小化人工智能的训练成本。
校对：纪元
编辑：嘉颖
审核：许闻
责任编辑：石秀珍SF183
