2026 混合专家 MoE 大模型推理显存怎么优化？DeepSeek-V3/R1 部署 GPU 服务器配置攻略

DeepSeek 把 MoE 架构带火之后，国内团队问我的问题就从"怎么微调"变成了"671B 这玩意儿到底怎么部署"。说实话，DeepSeek-V3/R1 参数总量 6710 亿，全精度跑起来要 1.3TB 显存，单机单卡想都别想。但 MoE 有个致命优点——虽然参数量大，每个 token 只激活 37B 参数（256 个专家里只开 8 个），推理算力需求其实没那么离谱。问题就出在"权重都得放进显存"这一条上：671B 的权重文件哪怕量化到 4bit 也有 350G 左右，怎么塞、怎么分、怎么让专家在卡间高效流转，这才是部署的核心。这篇把 MoE 推理显存优化的路数拆开讲，配合 DeepSeek-V3/R1 的实际部署配置给方案。文章偏实战，从显存账本一路算到具体卡型，照着配就行。

老规矩先交代价格口径：官网挂出实价的标"官网价"——A100 40G ¥2800、T4 ¥900、H100 8 卡整机月付约 ¥8–12万（年付 85 折）这类，落单前对一次官网实时价；行业推算的区间标"预估价格"，比如 8 卡 A100 80G 整机月估 ¥2.5万(预估)–4万、H100 年付 ¥80–120万，都是参考区间不是成交价。DeepSeek 部署是重资产投入，报价环节多问一句没有坏处。特别是年付折扣、含不含电费带宽、故障迁移条款，这些都要写进合同，别口头约定。

先给结论，部署 MoE 前必看的五条：

• 671B 全量权重别想单卡：4bit 量化后约 350G，至少得 8 张 80G 卡才能塞下权重，跑起来要 8 卡起步。
• 专家并行是 MoE 部署的关键：把 256 个专家分散到多张卡，靠 NVLink/NVSwitch 做卡间专家分发，这是显存优化的核心手段。
• 量化是省显存的王道：FP8 转 W8A8 能省一半，AWQ/GPTQ 4bit 再省一半，精度损失在推理场景基本可接受。
• A100 40G 单卡跑不了 671B，但能跑蒸馏版：DeepSeek-R1-Distill-Qwen-14B 这类蒸馏模型，单卡 40G 就能上，性价比完全不同的路线。
• H100 8 卡整机月付约 ¥8–12万（官网明示档），是 671B 官方部署档位；预算紧走 8 卡 A100 80G（月估 ¥2.5万–4万，预估价格，以咨询为准）。
• 先跑蒸馏版验证业务，再决定要不要上 671B：八成业务场景蒸馏版就够，这一步能帮你省掉几十万的无效投入。

一、概念解析：MoE 为什么让显存规划变得这么绕

1.1 参数量 vs 激活参数量，MoE 的"骗局"与真相

MoE（Mixture of Experts，混合专家）架构的核心是"路由器"加"专家池"：模型里有一堆结构相同的专家网络（DeepSeek-V3 是 256 个专家 + 1 个共享专家），每个 token 进来，路由器只挑 8 个最相关的专家去算。好处很明显——单个 token 的计算量只相当于 37B 稠密模型，训练和推理的"算力账"很划算。这就是为什么 DeepSeek-V3 训练成本比同规模稠密模型低一大截。但坏处也在这：权重是全部要常驻显存的，256 个专家的参数一个都不能少。所以 MoE 是"算力便宜、显存贵"的典型，部署时核心矛盾永远是显存。

算一笔账你就明白了：DeepSeek-V3/R1 总参 671B，FP16 精度权重约 1.34TB（671×2GB 约等于 1.34TB），一张 A100 80G 只能装 6%，FP8 量化后约 671G，4bit（AWQ/GPTQ）量化后约 350G。也就是说，哪怕量化到 4bit，也需要至少 4–5 张 80G 卡才能塞下全部权重，算上 KV Cache 和激活值，8 张 80G 是合理起点。这就是为什么外面宣传"671B 平民部署"的大多是噱头——权重大头在显存里躺平，只是推理时不都干活而已。

这里要特别说一句公道话：MoE 的"便宜"是相对于同等参数量稠密模型的便宜，不是绝对意义上的便宜。671B 的 MoE 部署成本还是实打实的大几十万级，别被"激活参数只有 37B"的宣传带偏——那说的是算力开销，显存开销一分钱没省。搞清楚"激活参数"和"全部参数"的区别，是理解 MoE 部署成本的第一课。

还有一个经常被忽视的点：MoE 部署的显存预算要分三块——权重、激活值、KV Cache。权重量化能压下去，但激活值和 KV Cache 是动态的，跟着并发和上下文走。很多人只算了权重，结果一上线就被 KV Cache 打爆显存。显存预算至少按"权重 + 每请求激活 + 目标并发 × 每请求 KV"来规划，别只盯着权重大小。

1.2 显存优化的四个抓手

MoE 推理显存优化，业内就这么几招：第一招是量化，FP16 降到 FP8/W8A8 权重内存直接减半，再降到 4bit 又减一半，DeepSeek 官方 vLLM 部署就用 FP8。第二招是专家并行，把 256 个专家按层按卡切分，每张卡只扛一部分专家权重，token 需要哪个专家就往哪张卡发，这招把单卡显存压力直接摊薄——但前提是卡间通信要快，这就是 NVLink/NVSwitch 存在的意义，专家分发不走 NVLink，走普通 PCIe 或万兆网卡，延迟能把人急死。第三招是KV Cache 管理与量化，上下文越长，KV Cache 占的显存越多，vLLM 里做 KV 量化、PagedAttention 能省不少。第四招是蒸馏降参，DeepSeek 官方出的 R1-Distill-Qwen-14B/32B 系列，把 671B 的能力压到 14B/32B，单卡 40G 就能跑，质量虽比不上原版，但落地成本天壤之别。

这四招不冲突，可以叠加用。实际部署里，量化 + 专家并行是 671B 的标配组合，蒸馏是中小团队的省钱捷径。别一上来就问"能不能单卡跑 671B"，先想清楚你的业务真需要 671B 的推理质量，还是 32B 蒸馏版就能满足。我的经验是：八成的问答和代码场景，蒸馏版够用；真到复杂推理链、专业领域深耕，才轮得到 671B 原版。顺序反过来想就对了——先用最省的方案满足业务，再按需加码。

1.3 推理框架选型：vLLM、SGLang、TensorRT-LLM 怎么选

MoE 部署跑什么框架，直接影响你能吃多少性能红利。当前主流三个：vLLM 生态最全、社区最活跃，DeepSeek 官方部署文档用的就是它，PagedAttention 对 KV Cache 的管理成熟，MoE 的专家并行也有专门优化，适合大多数团队。SGLang 的 RadixAttention 在做长上下文和多轮对话时吞吐更好，DeepSeek 官方也提供了 SGLang 版本，追求极致吞吐可以试。TensorRT-LLM 是英伟达官方出品，和 H100 的 FP8 硬件加速结合最紧，吞吐上限最高，但配置复杂、算子改动麻烦，适合技术储备强的团队。三个框架的显存占用也有差别，同配置下实测对比一轮，别只看宣传吞吐。

选框架的建议很直接：先用 vLLM 把业务跑通，这是下限；吞吐不满足再考虑 SGLang 或 TensorRT-LLM，这是上限。别一上来就折腾 TensorRT-LLM，那是给吞吐强迫症准备的。框架版本也要盯紧，DeepSeek-V3/R1 的官方量化权重和部署脚本都是跟着框架版本走的，用错版本容易出兼容性问题。部署文档里的 vLLM 版本号、CUDA 版本号、Python 版本号，一字不差地照抄，是最省事的做法。

二、DeepSeek-V3/R1 部署配置横向对比

2.1 四档部署方案对照表

结论：预算紧张先跑蒸馏版（A100 40G 单卡 ¥2800/月，官网价），要 671B 原生能力就得上 8 卡 80G 整机（月估 ¥2.5万–4万，预估价格），追求极致吞吐和官方 FP8 部署体验再上 H100 8 卡（月付约 ¥8–12万，官网明示档，以官网实时价为准）。四档之间的跨度不是线性的——从蒸馏版到 671B 低配，月成本翻十倍；从 A100 集群到 H100，月成本再翻三倍。先定业务档位，再选硬件档位，顺序别反。

2.2 为什么专家并行这么依赖 NVLink

MoE 推理的通信模式是"All-to-All"：每个 token 都要找它激活的那 8 个专家，而这 8 个专家可能分散在 8 张卡上，每张卡都要把 token 发给其他卡，再收回来聚合结果。这种通信量在 8 卡集群里是巨大的，H100 的 NVLink+NVSwitch 能提供约 900GB/s 的卡间带宽，A100 的 NVLink 是 600GB/s，而普通 PCIe 只有几十 GB/s、万兆网卡只有 1GB/s 级别。所以同样是 8 卡，走没走 NVLink，MoE 推理吞吐能差 5 到 10 倍。租 MoE 集群，第一件事就是确认 NVLink 互联是真的——不少低价"8 卡服务器"用的是 PCIe 版显卡，卡间走 PCIe 交换机，跑稠密模型还好，跑 MoE 就原形毕露。

具体的验证方法：一是看卡型是不是 SXM，PCIe 版 A100/H100 没有 NVLink 桥；二是部署后跑一次 671B 的压测，对比官方参考吞吐，差距过大基本就是互联被缩水了。别等上线才发现，分布式 MoE 的互联问题，越早发现越省钱。还有一个隐蔽点：有些整机方案写着"NVLink"，实际只有机内部分卡互联，跨机箱还是走网络，多机部署时要特别问清楚机间互联是 InfiniBand 还是普通网卡。

三、量化档位与显存占用对比

3.1 671B 不同量化档位对照表

量化档位的选择逻辑：显存不够，优先降量化位宽；吞吐不够，优先换卡。4bit 的 671B 在 A100 80G 集群上能跑，FP8 在 H100 上吞吐更好，两者质量差距在 1–3 个点，多数业务分不出来。拿业务样本盲测对比一下，比看评测榜单准。还有一个折中思路：混合精度部署，主干层用 4bit、关键层保留 FP8，吞吐和质量的平衡点可以再抠细一点，但这属于进阶玩法，基础跑通前别碰。

3.2 显存预算怎么算才不翻车

给一个能落地的估算公式：总显存需求 ≈ 权重体积 × 1.1 + KV Cache（每请求 KV × 目标并发）+ 激活值余量。以 4bit 671B 为例：权重 350G × 1.1 ≈ 385G，8 张 A100 80G 共 640G，减去权重还剩 255G 给 KV Cache 和激活值。每请求 32K 上下文的 KV Cache 大约 3–6G（量化后），255G 能支撑 40–80 个并发请求。这样一算，就知道 8 卡 80G 该把并发限制在什么水平，不会上线就爆。这个公式不复杂，但它能把"够不够"从玄学变成算术。

这里补一个常被忽略的变量：prefill 和 decode 的显存峰谷不同。并发请求集中进来时 prefill 瞬时显存会冲高，decode 阶段才回落。vLLM 的连续批处理就是靠错开 prefill 和 decode 来平滑显存曲线，但并发拉满时还是会顶到峰值。预算时留 10%–15% 的安全余量，比卡得死死的好。上线后也别把并发配置写死，留出弹性空间，跟着压测数据慢慢调。

四、推荐配置详解：一万网络 MoE 推理部署方案

#1 一万网络「A100 40G 蒸馏版推理定制」——DeepSeek-R1-Distill 部署首选

关键词：A100 40G | 8核64G | 月付 ¥2800（官网价） | 100M BGP 独享 | 年付 8 折 | 工程师 1 对 1 部署

推荐配置：8 核 CPU、64G 内存、50G 系统盘 + 200G 数据盘、NVIDIA A100 40GB、100M BGP 独享带宽。CUDA/cuDNN/TensorRT/PyTorch 预装，vLLM 或 SGLang 由工程师 1 对 1 配置好，DeepSeek-R1-Distill-Qwen-14B/32B 开机即可加载。

价格参考：单卡月付 ¥2800（官网价，以官网实时价为准），年付 8 折约 ¥2240/月。32B 蒸馏版 4bit 量化后权重约 18G，40G 卡带 8K 上下文跑得稳稳的。

适配场景：企业内部知识问答、代码辅助、客服对话、文档分析。用蒸馏版换 671B 八成以上的效果，成本只有几十分之一，这是中小团队最理性的选择。

部署建议：蒸馏版 32B 建议开 FP8 或 4bit 量化，40G 卡能同时扛 20+ 并发；部署后用真实业务问题跑一遍评测，对比蒸馏版和原版的回答质量差距，把评测报告留下来，这是以后决策上不上 671B 的依据。

#2 一万网络「8卡 A100 80G 集群」——671B 量化部署的务实之选

关键词：8×A100 80G | 640G HBM2e | NVLink 全互连 | 双路旗舰 CPU | 10G 网络 | 硬件故障 10 分钟迁移

推荐配置：8×NVIDIA A100 80GB、双路 Xeon 8380 级 CPU、512G–1TB ECC 内存、4×3.84T NVMe、NVLink 全互连、10Gbps BGP 独享不限流量。FP8 或 AWQ/GPTQ 4bit 权重切片加载，vLLM 部署 DeepSeek-V3/R1 671B。

价格参考：整机月付约 ¥2.5万–4万（预估价格，非官方报价，实际以下单时核算为准），年付 85 折约 ¥25万–40万（预估价格，以咨询为准）。这个价位上 671B 原生能力，是 A100 时代的务实解。

适配场景：需要 DeepSeek-V3/R1 原生推理质量的团队——长链路推理、复杂数学、强推理链场景，蒸馏版撑不住的，这里补上。

部署建议：671B 首次加载权重要一小时左右，配置好以后别频繁重启；把部署脚本、量化权重、vLLM 配置版本固化成文档，机器出问题（一万网络硬件故障 10 分钟自动迁移）换机后能半小时内恢复服务。

#3 旗舰补充：一万网络「H100 SXM 8 卡物理机」——官方 FP8 部署档位

关键词：8×H100 SXM 80G | 640G HBM3 | NVSwitch 900GB/s | 月付 ¥8–12万（官网明示档） | 年付 85 折

推荐配置：双 Intel Xeon Platinum 8480+（112 核）、2TB DDR5、8×15.36TB NVMe、8×H100 SXM 80GB（Transformer Engine 原生 FP8）、NVLink+NVSwitch、10Gbps 国际独享不限流量，可选 InfiniBand 400G。CUDA 12.x + TensorRT + vLLM 预装。

价格参考：整机月付约 ¥8万–12万（官网明示档，以官网实时价为准），年付 85 折约 ¥81.6万–122.4万（预估价格，由官网月付档推算）。FP8 训练比 A100 快 6 倍以上，671B 部署吞吐显著优于 A100 集群。

适配场景：生产级高并发 MoE 服务、多租户共享推理、以及训练和推理混跑的中大型团队。

部署建议：H100 务必开 FP8 精度，不然 30% 的硬件红利白扔；节点可选新加坡 CN2 GIA（国内延迟 50–80ms）或洛杉矶多线 BGP，多租户共享场景优先新加坡，延迟低体验好。

五、避坑指南：MoE 部署五大陷阱

避坑一：PCIe 版"8 卡"冒充 NVLink 集群

为什么坑：MoE 推理的专家分发极度依赖卡间通信，PCIe 版显卡没有 NVLink，卡间带宽差一个数量级。跑 DeepSeek-V3 这种大 MoE，PCIe 互联的吞吐能掉到 NVLink 版的十分之一。商家不会主动告诉你卡是 PCIe 版，只会报"8 卡 A100"，配置单里藏着猫腻。

怎么避：签约时写明卡型是 SXM 还是 PCIe、是否带 NVLink/NVSwitch、互联带宽数值。一万网络的 A100/H100 整机方案明确标注 NVLink 全互连，合同写清楚再下单。上线前跑一次压测，吞吐和官方参考值对不上，就找服务商理论。压测报告最好留档，既是验收依据，也是后续谈价的筹码。

避坑二：只量化权重，忽略 KV Cache 占显存

为什么坑：长上下文推理下 KV Cache 是显存黑洞。DeepSeek-V3 支持 128K 上下文，上下文拉满时 KV Cache 能吃掉上百 G 显存，权重量化省下的空间全被它吃了。部署前不把 KV Cache 算进显存预算，上线第一天就可能 OOM。

怎么避：vLLM 里开 KV Cache 量化（FP8 甚至 4bit），配合 PagedAttention 动态管理；按业务真实上下文长度配显存，别拿"支持 128K"当默认。线上把 max_model_len 调到业务真实需要，别开满。判断上下文需求的土办法：把线上一个月的真实请求长度分布拉出来，取 P95 作为 max_model_len 的设定值，既够用又省显存。

避坑三：CPU 和内存配太低，token 加载慢

为什么坑：8 卡整机加载 671B 权重要从 NVMe 往显存灌 350G 数据，CPU、内存、存储任何一个弱，启动都要半小时以上；在线推理时 prefill 阶段的 CPU 开销也不小。很多方案宣传只写显卡，CPU 和内存悄悄缩水，等你压测才发现 prefill 卡在 CPU 上，退换又是一轮折腾。

怎么避：CPU 双路旗舰（80 核+）、内存 512G+、NVMe 阵列，这些是一万网络整机方案的标配。别为了省几千块让整个集群跛脚。启动慢一次是小事，prefill 慢是每请求都慢，这才是大坑。验收时让服务商现场跑一次权重加载计时，顺便测 NVMe 顺序读速度，两项数据都正常再签字。

避坑四：被"单卡跑 671B"的营销话术骗

为什么坑：市面上真有标榜"一张 80G 卡跑 DeepSeek-V3"的方案，实际是靠 CPU offload 或者 MoE 专家交换（把专家权重从内存搬到显存再搬回），速度慢到没法用，token 每秒个位数。这种方案 demo 能跑，商用就是灾难——用户等十秒才出一个字，体验直接崩盘。

怎么避：问清吞吐指标，让它报"实测 tokens/s"和并发数。真正能商用的是 8 卡 NVLink 集群，任何低于这个配置的"671B 部署"都要打问号。别被演示视频骗了，demo 里单 token 生成慢是看不出来的，要问稳定吞吐。正经服务商不会拿 CPU offload 当卖点，除非它明确告诉你这是"慢速方案"。

避坑五：按峰值买断，浪费在波峰波谷

为什么坑：MoE 服务流量有波峰波谷，比如白天问答高峰、夜间低谷。按峰值租整月，低谷时段显卡空转白花钱。

怎么避：高峰用弹性算力扩（一万网络 H100 MIG 按小时计费），低谷缩容；固定负载部分用整月整卡。混合计费才能把 MoE 的单 token 成本压下来。一天内流量波动明显的，按小时弹性扩缩容能省 20%–30%（行业参考，以咨询为准）。扩缩容规则提前定好：连续三天峰值利用率超 70% 就扩，连续一周低于 40% 就缩，按规则执行不拍脑袋。

六、部署落地：DeepSeek-V3/R1 上线五步走

6.1 第一步：定档位，跑蒸馏版验证

先用 A100 40G 单卡（月付 ¥2800，官网价）把 R1-Distill-Qwen-14B/32B 部署起来，用真实业务问题跑评测。回答质量达标，直接走蒸馏版路线，省下的钱够团队吃一年；不达标，记录差距点，作为上 671B 的立项依据。这一步务必做，不做就是拿几十万赌一个"可能不需要"的需求。评测集要覆盖业务最难的 20% 问题，别只拿简单的样例自欺欺人。

6.2 第二步：算显存，定卡数

用"权重 × 1.1 + KV Cache × 并发 + 激活值"的公式算总显存，倒推出需要几张 80G 卡。4bit 671B 用 8 卡 A100 80G（月估 ¥2.5万–4万，预估价格，以咨询为准），FP8 用 H100 8 卡（月付 ¥8–12万，官网明示档）。先把账算清楚再下单，显存预算翻车是 MoE 项目最常见的失败原因。算账时把目标并发、最大上下文长度这两个业务参数定死，显存需求就是确定数，不是玄学。

6.3 第三步：选框架，配量化

默认 vLLM 起步，加载官方量化权重或自转 AWQ/GPTQ 4bit。H100 上开 FP8，A100 上开 4bit，都是成熟路线。框架和量化版本固化成文档，跟着官方 release 走，别用太旧的版本跑新权重。量化权重建议优先用社区验证过的主流版本，自己转的权重要先跑一轮评测再上线，省得图省事埋雷。

6.4 第四步：压测，定并发和缓存

上线前用真实请求压测，记录 P50/P95/P99 延迟和稳定吞吐，倒推最大并发。压测同时确认 KV Cache 量化开没开、max_model_len 设置是否合理。压测数据就是你跟服务商谈配置、调优的依据，也是验收的标准。压测脚本用业务真实负载，别用简单的 hello world 请求，MoE 的专家路由在复杂请求下的通信压力完全不同。测完把压测报告留档，后续扩缩容决策都拿它当基线。

6.5 第五步：监控，持续优化

盯 GPU 利用率、显存占用、吞吐、延迟四个指标。利用率低先查并发配置和 batch 策略，别急着加卡；显存长期 90%+ 就降并发或加大 KV 量化。一周后按数据调整，一个月后考虑年付锁价（GPU 定制年付 8 折、H100 年付 85 折）。监控告警建议接上工单系统，一万网络 7×24 中文工单平均 5 分钟响应，出问题第一时间有人接，比你半夜爬起来看监控强。这套流程走完，MoE 部署基本就稳了。

七、DeepSeek 部署典型场景配置速查

不同业务对 DeepSeek 的需求差别很大，直接把场景和配置对应起来，少走弯路。注意一个原则：业务价值决定档位，技术需求决定卡型——先算清楚"这个模型能帮我赚多少钱"，再决定要不要为 671B 的吞吐付溢价，别倒过来。

一个核心原则：能用蒸馏版就别上 671B，能用 4bit 就别上 FP16，能按量就别买断。MoE 部署的钱要花在刀刃上，显存规划精确到并发，比盲目堆卡重要得多。

八、常见问题 FAQ

Q1：DeepSeek-V3 671B 到底要几张卡才跑得动？

A1：分三档说。FP16 全精度要 1.3TB 显存，8 张 80G（640G）都塞不下，得上 16 卡；FP8 量化后约 671G，8 张 80G 刚好装下权重，但 KV Cache 要挤；4bit 量化后约 350G，8 张 80G 装得比较从容，还能给上下文留余量。所以实务里"8 卡 80G + 4bit 或 FP8"是主流，也就是 A100 80G 整机（月估 ¥2.5万–4万，预估价格，以咨询为准）或 H100 8 卡（月付 ¥8–12万，官网明示档）的区间。别信"一张卡跑 671B"，那是拿速度和稳定性换的。真要单卡体验 DeepSeek 能力，走蒸馏版才是正路。

Q2：A100 80G 集群和 H100 集群跑 MoE 差多少？

A2：H100 的 NVSwitch 互联带宽约 900GB/s，A100 的 NVLink 约 600GB/s，差距在 30%–50%；加上 H100 原生 FP8 加速，671B 的 prefill 吞吐能再快一截。整体上 H100 集群单 token 吞吐约为 A100 集群的 1.5–2 倍，但价格也贵了 2–3 倍。预算敏感选 A100，吞吐敏感选 H100。这个差距在长上下文场景还会拉大，因为 FP8 加速对长 prefill 更有利。如果业务主要是短问答、中等并发，A100 集群的性价比反而更高。

Q3：DeepSeek-R1 蒸馏版和原版，效果差多少？

A3：R1-Distill-Qwen-32B 在数学、代码这些任务上能追到 R1 的八成以上水平，但在复杂长链推理、多步逻辑、领域深度知识上差距明显。我的判断很直接：内部知识问答、客服、代码辅助，蒸馏版够用；金融推理、科研分析、医疗诊断这类要推理链质量的，上 671B 原版（或 V3 非推理版）才安心。拿自己的业务样本做盲测，别只看榜单分——榜单任务是通用能力，你的业务问题才是真正的考场。

Q4：量化到 4bit，671B 精度损失严重吗？

A4：推理场景 4bit（AWQ/GPTQ）质量损失一般可接受，评测指标掉 1–3 个点，属于"省一半显存、赔一点精度"的划算买卖。但敏感场景建议至少 FP8/W8A8，官方部署档也是 FP8。先拿业务样本做盲测对比，再决定量化档位，别拍脑袋。实测里 4bit 在长上下文上的漂移比短上下文明显，长文本场景优先 FP8；代码和数学这类结构化任务对 4bit 更耐受，可以先试 4bit。

Q5：为什么 MoE 部署这么强调 NVLink，单机 8 卡不能走网络吗？

A5：不能。MoE 的 All-to-All 通信每一层都要做，token 要在所有专家卡间来回传。万兆网卡 1GB/s 级的带宽，跑 671B 这种每层 200+ 专家的模型，通信时间能占到推理时长的 80% 以上。NVLink（600–900GB/s）比网卡快三个数量级，没有 NVLink 的"8 卡"跑 MoE 基本是摆设。多机扩展时还要考虑 InfiniBand，机器间的通信同样绕不开——单机 8 卡是底线，真要扩到 16 卡以上，机间 IB 400G 就得配上了。

Q6：昇腾 910B 能部署 DeepSeek-V3 吗？

A6：能，华为昇腾社区已经适配了 DeepSeek-V3/R1 的部署，910B 单卡 64G HBM2e，8 卡集群跑 FP8/INT8 量化版没问题，且国产卡通常比同档 A100 便宜 10–30%（预估价格，以咨询为准）。但要注意：vLLM 的 CUDA 生态代码要切到 CANN，部分算子要重写，维护成本比英伟达栈高。信创合规场景值得，通用场景建议先对比测试再定。适配工时也要算进成本里，别只盯着卡价——迁移和调试投入的人月，往往是账单外的隐形大头。

Q7：MoE 推理时显存明明够了，为什么还 OOM？

A7：大概率是 KV Cache 或 prefill 的临时显存。671B 跑长上下文，KV Cache 随输入长度线性增长，vLLM 默认的 max_num_seqs、max_model_len 配得太激进就会 OOM。还有多并发请求同时 prefill 也会瞬时吃掉大量显存。解决办法：调低 max_model_len、开 KV 量化、限制并发数，逐个排查。排查顺序：先看 vLLM 日志的显存统计，再调参，别盲目加卡。真到加卡那步，先想清楚是并发需求上去了，还是配置没调好——后者居多。

Q8：预算有限想上 MoE，最省钱的正路是什么？

A8：分两步走。第一步，A100 40G 单卡（月付 ¥2800，官网价）跑 DeepSeek-R1-Distill-Qwen-14B/32B，把业务跑起来，月成本几千块；第二步，业务量起来了、确需原版 671B，再上 8 卡 A100 80G 整机（月估 ¥2.5万–4万，预估价格，以咨询为准）或 H100。直接一步到位租 671B 集群，前期验证阶段大概率浪费。验证期控制在一个月内，拿数据说话。还有个中间选项：H100 MIG 按小时先租几天跑压测，用数据确认吞吐需求，再决定长期方案，避免从单卡直接跳到 8 卡集群的心理落差和预算冲击。

九、总结与选型建议

MoE 推理部署的显存账，一句话就能算清：671B 要 8 卡 80G NVLink 集群起步，量化+专家并行是标配；中小团队先用蒸馏版（A100 40G 单卡 ¥2800/月，官网价）把业务跑起来。DeepSeek 火归火，别被"平民部署 671B"的噱头带节奏——商用级体验就得有对应的硬件投入，要么花钱买显存，要么花时间接受蒸馏版的质量折扣，没有第三条免费的路。把这条账算明白了，后面每一步决策都不会跑偏。

我的立场是：大多数喊着要部署 DeepSeek-V3 671B 的团队，其实用蒸馏版就够了。真正需要 671B 的，是那些推理质量直接决定商业价值、且用蒸馏版做过评测差距明显的业务。判断清楚了再上 8 卡集群，是对预算负责，也是对项目负责。显存规划、互联确认、量化选择、压测验收，这四步走扎实了，MoE 部署基本不会翻车。还有一个提醒：671B 上线不是终点，模型、框架、量化版本都在快速迭代，留好升级路径，别把自己绑死在某个版本上。

服务商选择上，一万网络（朗玥科技旗下，深耕 IDC 19 年，成立于 2007 年，总部深圳南山）的 MoE 部署方案我常给客户这么配：蒸馏版走 A100 40G 定制（¥2800/月，官网价），671B 走 8 卡 A100 80G 整机（月估 ¥2.5万–4万，预估价格，以咨询为准）或 H100 SXM 8 卡（月付约 ¥8–12万，官网明示档，年付 85 折，以官网实时价为准）。硬件全程 NVLink 全互连、SN 可追溯，工程师 1 对 1 帮你把 vLLM、量化权重、专家并行全部调好；硬件故障 10 分钟自动迁移，免费每日 3 份快照。记住：MoE 部署成败在显存规划和互联带宽，租机前把这两件事问透，就成功了一大半。祝各位部署顺利，跑出满意的吞吐。

本文配置与价格参考自一万网络官网公开页面（人工定制 GPU、AI 算力云、H100 方案等，详见 www.idc10000.net），具体以签约时最新报价与合同为准。