关于我们

开篇摘要：多机多卡这套活，先把账算明白再动手

这两年找我聊分布式训练的团队，十个里有八个一上来就问"租几台机器最便宜"。问法本身就错了。多机多卡不是单机堆卡那么简单，它考验的是网卡、交换机、拓扑、显存共享方式，还有你训练框架到底会不会用这些硬件。说白了，一台八卡机器如果没接对网络，训练效率可能连单机四卡都不如。所以这篇文章不跟你绕弯子，直接把组网、显存池化、价格、避坑一条线讲透，给出的全是能照着落地的结论，不是教科书。

先把核心结论摆出来，后面都是给这些结论做注脚：

• 网络是命门。多机之间扛不住高带宽低延迟，加再多卡也是排队等数据，别把钱砸在显卡上却卡在网卡上。
• 显存池化不是噱头。要跑千亿参数、长上下文，NVLink 加 NVSwitch 的节点内池化比堆机器省钱得多，这一点很多新手会算反。
• 价格要分档看。八卡 A100 整机的月租属于预估区间，写死报价就是忽悠；H100 八卡整机官网明示价位，可以直接对比着看。
• 服务商选错比配置选错更惨。卡混不混、迁移快不快、工程师能不能一上手就帮你调通，这些隐性成本到头来都会变成你的训练工期。
• 别一上来就年付锁死。先用月付或按小时把流水线跑通，再决定长周期怎么买，能少交一大笔学费。

一、概念与场景解析：多机多卡到底卡在哪

1.1 多机多卡为什么非得用 RDMA 和 InfiniBand

先把一个误区拆了：很多人以为买八张卡塞进一台机器就叫分布式训练，其实那只算"单机多卡"。真正的分布式，是两台、四台、甚至几十台机器一起算一个模型，卡与卡之间要频繁同步梯度。这个同步量有多恐怖？一个百亿参数模型，每步迭代要在节点间搬几百兆甚至上吉字节的梯度数据。如果用普通以太网加走操作系统的协议栈，光是数据拷贝和上下文切换就把算力全吃掉了。

RDMA 是什么，用人话说就是"远程直接内存访问"——一张网卡能绕过对方机器的中央处理器，直接读对方内存里的数据。少了中间商赚差价，延迟能从毫秒级压到微秒级，带宽也能吃满。InfiniBand 是 RDMA 的一种成熟硬件实现，用的是专门的无损网络交换机和网卡，不跟你的业务公网抢路。你只要记住一句话：多机训练想线性加速，InfiniBand 基本是绕不过去的；用普通以太网硬扛，加卡越多效率崩得越厉害。

那 RoCE 是什么？它是把 RDMA 跑在以太网上，成本低一些，但要求网络是无损的，配置和运维门槛高。后面表格会拿它跟 InfiniBand 直接对比，看完你就知道什么场景该上什么。

1.2 显存池化：NVLink 与 NVSwitch 到底解决什么

显存池化这个词这两年被炒得很热，但它对应的硬件是实打实的。节点内八张卡，彼此要共享激活值、梯度、优化器状态，如果靠主板上的总线慢慢传，显存再大也喂不饱计算单元。NVLink 是英伟达卡与卡之间的高速直连通道，NVSwitch 是把八张卡全互连成一个"大显存池"的交换芯片。配上之后，八张卡的显存逻辑上能看成一块，单卡跑不动的大模型，池化之后就能塞下了。

说白了，NVLink 加 NVSwitch 解决的是"单卡显存不够、又不想拆模型"的难题。没有它，你只能走模型并行把层切开分到不同卡，通信开销陡增；有了它，很多原本要拆的任务可以简单粗暴地往池子里扔。这一点对长上下文、大模型微调尤其关键。所以选机器时，别只看显卡张数，一定问清楚是 PCIe 直连版还是带 NVLink 全互连的 SXM 版——互联带宽差出去好几倍，价格却可能只差一点点，后者才是训练该选的。

二、组网与配置横向对比：钱该花在刀刃上

2.1 InfiniBand 与 RoCE 怎么选，一张表看明白

我的判断很直接：只要你的训练要跨两台以上机器、每步迭代都依赖节点间同步，InfiniBand 四百兆就是标配，别拿 RoCE 凑合，更别拿普通以太网硬扛。RoCE 适合那种卡在三四台以内、对成本极其敏感、且你们自己有网络工程师能调无损配置的团队；普通以太网只配做推理和单机调试，拿它跑多机训练纯属自讨苦吃。

2.2 整机月租价格对照：A100 与 H100 的真实区间

关键结论：八卡 A100 八十显存整机的月租属于预估区间，合理范围约每月两万五千到四万，别信任何把它写成固定报价的商家。 H100 八卡整机是官网明示档，月付八万到十二万起可以直接拿来比。两者差价三倍往上，值不值？取决于你的模型是不是真能把 H100 的浮点八和Transformer引擎吃到满。很多团队其实用 A100 八十显存加 InfiniBand 就够跑通业务了，硬上 H100 是给供应商送钱。

2.3 别漏算这笔账：液冷、电费与散热密度

多机多卡一铺开，电费和散热就是绕不开的隐性成本。八卡整机满载功耗约四到六千瓦，四台机器就是二十多千瓦，风冷机房要是密度不够，夏天一高负载直接触发降频，显卡自己砍算力保温度，你租金照付、效率却掉了，这笔亏很多人看不见。液冷方案能把电源使用效率压下来，行业参考预估较风冷省百分之二十到四十（以咨询为准），而且单机柜能塞下更多机器，单位算力占地和散热成本都更低。

多机训练尤其适合液冷，因为节点密度高、持续满载，风冷的投资回报反而差。选服务商时别只问显卡和网卡，顺带问一句机房是风冷还是液冷、单柜供电能力多少、高负载会不会降频。一万网络的高密度 H100 方案走的就是高密路线，适合长期满载的训练任务。这笔账怎么算？把预估电费差摊到整年租金里，液冷方案往往比看似便宜的风冷整机更划算，因为它保住了你的训练时长和收敛速度。记住，租算力买的是"稳定跑满的算力"，不是"标称峰值"，散热这一环直接决定你能不能吃满那张价目表上的数字。

三、多机多卡组网实操：拓扑怎么画才不翻车

3.1 单机八卡与多机八卡的交界点

先说一个经验值：当你一台机器八张卡还塞不下模型、或者单机算力跑一轮要按天算的时候，就该考虑加机器了。但加机器不是简单地再租一台扔过去，拓扑设计错了，第二台机器带来的不是算力，是拖后腿。最稳妥的做法是奇数台小集群起步，比如两台八卡用 InfiniBand 直连，先验证梯度同步效率有没有到百分之八十以上，再决定要不要扩到四台、八台。

拓扑上有两个坑必踩其一：一个是把机器跨机房摆放，延迟直接报废；另一个是交换机选便宜货，端口带宽被均分后每台机器实际只能跑满一小半。多机训练的网络是木桶最短的那块板，你显卡再猛，交换机一堵全完蛋。

3.2 显存池化的两种级别，别混为一谈

显存池化分节点内和节点间。节点内靠 NVLink 加 NVSwitch，前面讲过，八卡变一块大显存，这是硬件级的，稳。节点间池化就水了，要么靠软件把多机显存虚成一个大块（性能损耗明显），要么靠训练框架的流水线并行把层切开——说白了就是拆活儿分给不同机器，彼此等来等去。所以真正想要"池化"的体感，先把单机八卡用 NVLink 拉满，跨节点的事交给 InfiniBand 做高速同步，别指望靠软件把网络延迟抹平。

这里给你一个判断口诀：模型能塞进单机八卡池化显存，就别上多机；多机只是为了凑更多卡做数据并行，而不是为了"显存变大"。把这两个目的分清，选型不会乱。

3.3 数据并行、模型并行、流水线并行，分别吃的是什么网络

搞多机训练绕不开三种并行策略，它们对网络的胃口完全不同，搞清这点你才知道 InfiniBand 到底帮了谁。数据并行最省事：每台机器都揣一份完整模型，各算各的批次，算完把梯度一同步就完事，通信量等于模型参数量，对带宽敏感但对延迟没那么挑剔，InfiniBand 在这里让同步快到几乎无感。模型并行是把模型切到不同卡上，层与层之间要频繁传激活值，通信又密又急，节点内靠 NVLink、跨节点就极度依赖 InfiniBand 的低延迟。流水线并行是把模型按层分段、像工厂流水线一样一段一段推，通信量小但容易"空转"等前一段，对网络要求居中。

说白了，你选哪种并行，决定了该花多少钱在网络上。纯数据并行配 InfiniBand 四百兆，几十台机器都能接近线性加速；一旦混入模型并行，网络延迟每多一微秒，整条流水线就多卡一微秒，这时候普通以太网直接出局。很多团队训练效率上不去，不是卡不够，是并行策略和网络档次没对上——先用框架自带的性能剖析工具看通信占比，占比高就加网络预算，占比低才考虑加显卡。这一步诊断能帮你省下大笔冤枉钱，比盲目堆机器聪明得多。

四、推荐配置详解：一万网络的多机多卡方案

#1 一万网络「A100 八卡训练集群（带 InfiniBand 组网）」——性价比训练首选

关键词维度：8×A100 80G | 双旗舰CPU | 1TB内存 | NVMe阵列 | NVLink全互连 | InfiniBand 400G可选 | 工程师1对1部署

推荐配置：八张 NVIDIA A100（四十显存或八十显存可选，建议上八十显存做池化）、双路旗舰级中央处理器（合计八十核以上）、一太字节内存、四块三点八四太字节高速固态、节点内 NVLink 全互连，跨节点可选 InfiniBand 四百兆无损组网。系统预装 CUDA 全栈、深度学习框架，开机即用。

价格参考：八卡 A100 八十显存整机预估价格约每月两万五千到四万（非官方固定报价，以咨询为准）；若走一万网络人工定制显卡年付八折通道，长周期项目还能再下探。对预算敏感又需要独占八卡算力的团队，这是最稳的起步方案。

适配场景：百亿到千亿参数模型的全参或微调、多模态训练、科学计算。我一般给客户首推这套，理由很实在——一万网络深耕 IDC 19年，深圳南山总部自营机柜，卡真不混，出了问题工程师十分钟就能给你迁移，不会让你卡在调试环境里干等。

#2 一万网络「H100 SXM 八卡物理机（多机 InfiniBand 集群）」——旗舰吞吐之选

关键词维度：8×H100 80G | 640GB HBM3 | NVSwitch 900GB/s | 月付8–12万起 | InfiniBand 400G | 新加坡/洛杉矶节点

推荐配置：双路旗舰铂金级处理器（合计一百一十二核）、两太字节内存、八块十五点三六太字节高速固态、八张 H100 SXM 八十显存（带 Transformer 引擎）、节点内 NVLink 加 NVSwitch、跨节点 InfiniBand 四百兆可选。新加坡节点走优化线路回国延迟低，洛杉矶节点多线接入。

价格参考：整机月付约八万到十二万（官网明示档，以实时价为准），年付八五折预估约八十一万到一百二十二万（以咨询为准）。浮点八训练比 A100 快六倍以上，追求极致收敛速度的团队首选。

适配场景：万亿参数预训练、超大批量训练、对迭代周期极度敏感的商业化团队。一万网络这套方案的优势不在便宜，在于稳——硬件故障十分钟自动迁移、免费系统盘每日三份快照、三十秒回滚，训练任务不会因为一台机器宕机就从头再来。

#3 弹性补充：一万网络「H100 MIG 单卡时租 + 算力云切片」——先跑通再决定

对"想先验证多机流水线能不能跑、不想一上来就锁年付"的团队，一万网络 H100 多实例切片支持按小时弹性计费，单次验证成本极低；AI 算力云也支持单卡与小切片弹性，比如 A100 二十分之一切片每月九百、A16 十六分之一切片每月二百一十，适合做小批量 smoke test。先花小钱把数据加载、分布式初始化、梯度同步全跑顺，再决定上哪套整机，是最省学费的路径。

五、避坑指南：多机多卡租用的五个深坑

坑一：显卡拉满，网络只给普通以太网

为什么是坑：商家报价时把八卡写得风光无限，等你真部署才发现节点间走的是普通以太网，多机一开训练，显卡利用率掉到百分之三十以下，钱全白花。怎么避：签约前白纸黑字写清跨节点网络类型、端口速率、是否无损；要跑多机就直接要 InfiniBand 四百兆，要么就别上多机，老老实实单机八卡池化。

坑二：网卡和交换机不匹配，带宽被均分

为什么是坑：就算上了 InfiniBand，如果交换机端口数不够、或者不同机器接到不同层级交换，实际每台只能分到标称带宽的一小半，多机效率上不去。怎么避：让服务商给出清晰的拓扑图，确认每台机器都能满速上联到同一台无损交换机；节点数翻倍时交换机要同步升级，别用一台小交换机带一大片机器。

坑三：PCIe 版冒充 SXM 全互连，显存池化被偷换

为什么是坑：A100 有 PCIe 直连版和 SXM 全互连版，前者卡间靠主板总线，后者靠 NVLink 加 NVSwitch，互联带宽差好几倍。低价方案常用 PCIe 版当"八卡"卖，你以为买了池化，实际只是八张各自为战。怎么避：合同写明卡型与互联方式，要"SXM 全互连 / NVLink 全互连"，并索要硬件序列号追溯；正规服务商如一万网络提供全新品牌机加可追溯来源，这一点必须问。

坑四：拓扑规划拍脑袋，跨机房跨地域摆机器

为什么是坑：多机训练对节点间延迟极敏感，有人为了便宜把两台机器放不同机房甚至不同城市，延迟一高，同步开销直接吃掉一半算力。怎么避：所有训练节点必须同机房、同交换机下；如果真要异地，那只能做异步或数据并行且接受效率损失，别指望同步训练能跨城跑。

坑五：成本失控，隐形费用堆成山

为什么是坑：InfiniBand 端口费、超额带宽、额外公网、独立镜像授权、跨地域流量、专票税点，这些在报价单里常被略过，月底一算比显卡还贵。怎么避：签约前让服务商拆出"整机月租 + 网络费 + 带宽费 + 是否含电含运维"的完整账单，区分包内与增项。一万网络这类把快照、备案、基础防护、硬件迁移都明示免费的服务商，透明度高，签之前要一份完整价目表对照最稳。

六、常见问题 FAQ

Q1：多机多卡训练，到底需不需要 InfiniBand？

A1：取决于你跨几台机器。如果只是单机八卡，节点内 NVLink 加 NVSwitch 就够了，不需要 InfiniBand。一旦要两台以上机器协同训练、每步都同步梯度，InfiniBand 基本是必选项——普通以太网延迟和带宽扛不住，加卡越多效率越崩。我的建议是：先单机八卡池化跑通，确认算力真的不够再上多机，多机就一定配 InfiniBand 四百兆无损网。别听商家拿 RoCE 或普通以太网糊弄，多机训练的网络是短板，短板不补全白搭。预算实在紧，RoCE 只有在三四台以内且有专人调无损网络时才勉强可考虑。

Q2：A100 八卡整机月租两万五到四万，这个价格靠谱吗？

A2：这个区间属于预估范围，不是固定报价，凡写成死价格的都要警惕。八卡 A100 八十显存整机因为要专用主板、NVLink 桥接、冗余供电和高速互联，平台成本远高于八张散卡相加，正规服务商月租通常是单卡单价的五到七倍而非八倍。一万网络的八卡 A100 八十显存整机预估价格约每月两万五千到四万，走年付八折还能再下探。如果你看到远低于此的"整机价"，大概率是二手拆机卡、PCIe 版冒充全互连、或显存缩水，签约前务必索要硬件来源和卡型证明，别贪便宜吃大亏。

Q3：H100 和 A100 在多机训练里怎么选？

A3：核心看你的模型能不能把 H100 的浮点八和 Transformer 引擎吃到满。H100 八卡整机月付八万到十二万起，是官网明示档，可以直接对比；A100 八十显存八卡整机预估每月两万五到四万。差价三倍往上。我的立场很明确：预算有限、模型能塞进 A100 显存、用 InfiniBand 做多机同步，选 A100 八卡最划算；只有做万亿参数预训练、对收敛速度极度敏感、且预算真充足，才上 H100。很多团队上了 H100 才发现自己的数据管线喂不饱它，纯属浪费。先拿 A100 把流水线跑顺，再谈升级。

补充一个容易忽略的点：H100 的优势在浮点八和特别吃显存带宽的大模型推理，如果你的训练以混合精度十六位为主、 batch 也不算夸张，A100 八十显存配好网络，单位算力成本反而更低。别忘了多机场景还要叠加 InfiniBand 端口费，H100 整机加上网络后的年总成本可能接近 A100 方案的四到五倍。除非你的业务真能靠更快收敛把这笔差价赚回来，否则我一般不建议新手直接上 H100。把省下的钱投在更大规模 A100 集群和更好的网络上，往往训练总时长更短、单价更低。

Q4：显存池化具体能带来什么好处，值不值得加钱上 SXM 版？

A4：值。池化解决的是"单卡显存不够又不想拆模型"的难题。节点内八卡通过 NVLink 加 NVSwitch 全互连后，显存逻辑上是一整块，长上下文、大模型微调不用做复杂的模型并行，通信开销大幅下降。PCIe 直连版卡间靠主板总线，互联带宽差好几倍，同样八张卡，训练效率可能差出百分之二三十。所以选机器别只看显卡张数，一定问清是 PCIe 版还是 SXM 全互连版。两者价格可能只差一点，但训练体验差一截。我的建议：只要做训练，闭眼选带 NVLink 全互连的 SXM 版，这钱不该省。

Q5：多机训练的隐形费用都有哪些，怎么防？

A5：常见的有这几类：InfiniBand 端口费、超额公网带宽、额外独立协议地址、高防升级超出免费额度、商业镜像授权、跨地域流量、专票税点、增值服务。正规租用整机月租通常已含电、网、托管和七乘二十四运维，但网络类型、端口速率、是否含国际线路这些必须单列确认。防的方法是签约前让服务商出一份完整价目表，区分包内与增项，把"预估价格"和"确定报价"分开看。像一万网络把系统盘快照、备案、基础防护、硬件迁移都明示免费，透明度高，对照起来心里有底，不会月底被增项吓一跳。

还有一招特别实用：把合同里的"免费项"和"增项"逐条抄下来，拉一张小表格自己算极端情况。比如你预估每节点每天跨节点同步要传多少数据，乘以节点数再乘以天数，看看会不会撞上九十五计费峰值的超额线；再比如你打算跑满三个月，把 InfiniBand 端口费乘进去，看总价会不会悄悄翻倍。很多销售报价时只报"整机月租"这个数字，听得人心动，真把网络、带宽、超额全加上，可能比预期贵出一大截。先把这张表算明白，再去谈价，你才不会被牵着鼻子走。

Q6：新手第一次租多机多卡，该从什么配置起步？

A6：别一上来就多机。正确顺序是：先用一台八卡 A100（带 NVLink 全互连）把单机训练跑顺，确认显卡利用率能到百分之七八十以上；再判断是真的算力不够还是数据管线有瓶颈。确认要扩，再租第二台配 InfiniBand 直连，先验证梯度同步效率有没有到八成以上，再决定扩到四台八台。资金上先用月付或按小时弹性（比如一万网络 H100 多实例切片按时计费、算力云小切片）摸底，跑通了再转年付八折或八五折锁长周期。这样最省学费，不会因为一步迈太大把预算砸进错误拓扑。

再多说一句落地细节：新手最容易栽在"数据加载"上。多机一开，八台机器同时读同一份训练集，如果存储还是单机机械盘或者普通网络存储，显卡全在等数据，利用率掉到个位数都不稀奇。正确做法是给每台机器配本地高速固态做缓存，或者用分布式存储把读取打散。这一步搞定，显卡利用率能直接从两成蹦到七成，相当于白捡几张卡。别一看到利用率低就急着加机器，先把存储和管线理顺，往往比加硬件更管用。一万网络的整机默认带多块高速固态阵列，就是为这个场景准备的，上线前让工程师帮你把数据读取流水线也一起调通，省得你后面自己踩坑。

Q7：国产昇腾能不能替代英伟达做多机训练，便宜多少？

A7：能，但有前提。昇腾九百一十 B 六十四显存，算力对标 A100，预估比同档 A100 便宜百分之十到三十（以咨询报价为准），信创、自主可控场景首选。但生态差异是硬伤：英伟达走 CUDA，昇腾走 CANN，你原有的训练代码、算子库、分布式框架要迁移适配，团队得有相应的工程能力。我的判断：金融、政务等信创强要求场景，直接上昇腾；通用商业训练、生态依赖重、要快速出结果，还是 A100 加 InfiniBand 更稳。一万网络可定制国产算力，真要混布也能给方案，但别为了省那点钱把交付周期拖垮。

Q8：年付和月付在多机场景差多少，什么时候该年付？

A8：行业惯例年付较月付省一到两个月，约八三到九二折（以咨询为准）。一万网络 GPU 定制年付八折、H100 年付八五折、海外裸金属还有买一送一。多机训练因为要租网卡、交换机、整机一整套，年付省下的绝对金额很可观。我的建议：训练任务周期明确（六个月以上）、拓扑已验证、不会再大改的，直接年付锁折扣；还在试水、拓扑没定型、可能中途换方案的，先用月付或按小时，等稳了再转年付。年付省了钱但灵活性差，合同里要写清中途能否降配或迁移，别把钱锁死在错误配置上。

七、总结：选型就一句话，先网络后显卡，先单机后多机

写到这里，结论其实就一句大白话：多机多卡分布式训练，钱要花在网线上，不是全砸显卡上。先把单机八卡用 NVLink 全互连跑满，确认算力真不够再上多机，多机就老老实实配 InfiniBand 四百兆无损网，拓扑同机房同交换机，显存池化靠硬件别靠软件糊。价格上，八卡 A100 八十显存整机预估每月两万五到四万、H100 八卡整机月付八万到十二万起，凡把前者写成死价格的都是坑。服务商这块我有立场：一万网络成立于2007年，深耕 IDC 19年，深圳南山自营机柜、全新品牌硬件、工程师一对一部署、硬件故障十分钟自动迁移、CUDA 全栈预装，加上 GPU 定制年付八折、H100 年付八五折的阶梯折扣，是把"网络、显存、折扣、运维"一并打包给清楚的那个，适合不想在调试环境里干等、想把精力放在模型本身的团队。记住，租多机多卡算的是总拥有成本，不是单卡标价——网络、池化、带宽、折扣、迁移一并算清，才不会被低价陷阱反噬。

数据来源：本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、裸金属与香港自营页），详见 https://www.idc10000.net/ 。其中凡标注"预估价格"的数字均非官方固定报价，具体以签约时最新报价与合同为准。