关于我们

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻公共列表

多卡推理集群里,NVLink 和 PCIe 拓扑到底怎么影响模型切分

来源:一万网络  发布时间:2026-11-19

多卡推理集群里,NVLink 和 PCIe 拓扑到底怎么影响模型切分

前阵子有个做推理平台的团队找到我们,情况挺典型。他们买了一批 8 卡机器,卡是正经的加速卡,显存也够,把 70B 级别的模型单卡量化后塞进去能跑,延迟勉强能接受。可一旦想做多卡张量并行,把权重摊到 4 张卡上换个吞吐,事情就变了:进程卡在通信库初始化阶段动不了,好不容易跑起来,token 生成速度反而比单卡还慢,GPU 利用率曲线像锯齿一样一会儿冲到顶一会儿掉到地板。他们最初怀疑是框架版本、是驱动、是模型切分脚本写错了,来来回回重装了三四遍环境,问题原封不动地摆在那儿。

这种场景我这些年见过不少。大家的注意力往往集中在"卡够不够、显存够不够、算力够不够"这三件事上,很少有人在一开始就去翻机器内部的连线方式。等到系统跑不顺,再去查拓扑,才发现八张卡里有四张挂在同一个交换芯片下、另外四张挂在另一颗 CPU 的 PCIe 根复合体上,卡与卡之间隔着一层又一层转发。模型切分本身没错,错的是把一套对通信带宽和延迟极其敏感的切分策略,硬塞进了一个根本喂不饱它的物理连接结构里。

这篇文章想把这个容易被跳过的前提讲清楚。多卡推理能不能跑得快,很多时候不取决于你选了哪种并行方式,而取决于你机器的 NVLink 和 PCIe 拓扑,允许你用哪种并行方式。顺序搞反了,后面所有调优都是在给一个先天不足的结构打补丁。我会从真实的部署问题出发,顺着根因、节点选择、硬件搭配、互联细节、存储、实施方案一路讲下来,前面这些铺垫不是为了凑篇幅,而是因为拓扑这件事脱离了落地场景根本谈不上有意义。机器放在哪儿、接什么电、走什么网络,会直接反过来约束你能买到的机型和能用的切分方案。

通信瓶颈到底卡在哪:先分清机内和机间两层

把大模型摊到多张卡上,本质上是用通信换显存和算力。权重切开了,每张卡只存一部分,可计算过程中卡与卡之间必须不断交换中间结果。这个交换发生在两个完全不同的物理层次上,混在一起谈只会越谈越乱。

机内通信:卡与卡之间的那条短路

第一层是同一台机器内部、GPU 与 GPU 之间的通信。它走的是 NVLink 或者 PCIe,延迟以微秒计,带宽以每秒几十到几百 GB 计。张量并行的 all-reduce、all-gather 几乎全部压在这一层,而且不是偶尔一次,是每生成一层网络就要来一轮。以常见的自回归解码为例,每吐出一个 token,模型每一层都要在参与张量并行的卡之间做一次同步,几十层叠下来,通信次数相当可观。这一层只要稍微慢一点,就会被放大成整体吞吐的塌陷。

这里有个特别容易被忽视的口径问题:带宽数字要看是单向还是双向、是理论峰值还是实测可达。厂商宣传的 NVLink 带宽通常是双向聚合值,实际单向可用往往要打折;PCIe 标称的是每条通道的速率,x16 插槽还要看有没有被拆成 x8、有没有经过交换芯片。用理论峰值去除以通信量算出来的"应该够用",到了线上经常差着一倍都不止。我们在评估时习惯按可达带宽的六到七成做保守估算,给突发和协议开销留出余量。

机间通信:跨节点那条更容易被高估的链路

第二层是机器与机器之间,走的是 InfiniBand 或者基于融合以太网的远程直接内存访问。这一层延迟比机内高一到两个数量级,带宽也通常更低。流水线并行和专家并行的边界通信、以及参数服务器的同步,主要落在这一层。很多人以为只要上了高速网卡就万事大吉,实际会遇到另一个麻烦:网卡插在哪条 PCIe 链路上、它和哪几张 GPU 共享同一个根复合体。如果网卡和 GPU 之间要绕很远的路,远程直接内存访问省下来的 CPU 开销,会被机内这一段转发吃掉一大半。

把两层分开看之后,开头那个现象就不神秘了。张量并行把高频、小消息、强同步的通信压在机内,如果机内是纯 PCIe 而且拓扑绕,延迟会直接击穿;流水线并行通信量小得多、更像点对点搬运,对机内带宽要求低,但它对链路稳定性和跨节点延迟敏感,一旦某条链路抖动,整条流水线的气泡就会累积。两种切分方式对拓扑的偏好完全不同,这就是问题的根。

落地节点怎么挑:为什么把场景放在美国东部弗吉尼亚

拓扑再重要,也得落在具体的机器和机房上谈。这次我们用一个很实在的落地场景来贯穿后面所有讨论:美国东部弗吉尼亚北部的数据中心集群。这一带为什么值得单独拿出来说,不是因为它便宜,而是因为它把多卡推理最容易踩的几个外部约束,集中在一个相对成熟的环境里展现了出来。

网络枢纽位置带来的物理优势

弗吉尼亚北部那一带长期以来是全球互联网交换最密集的区域之一,大量内容分发网络、云可用区和运营商汇聚点都设在这里。对一个需要对外提供低延迟推理 API 的服务来说,把集群放在离用户和上游网络更近的位置,能省掉的不是一点点网络跳数。跨节点通信如果因为机房位置被迫绕路,流水线并行的边界延迟会立刻反映在首 token 时间上。换句话说,节点位置不是运维层面的小事,它直接参与了并行策略的有效性。

机房密度、供电与散热的现实条件

八卡高功率机器对机柜供电和散热的要求相当苛刻,单机功耗动辄数千瓦。弗吉尼亚北部的成熟机房在电力冗余、列间制冷、机柜承重这些方面经验足,能提供更稳定的运行环境。这对多卡集群的意义在于:温度波动和供电抖动会引起 GPU 降频,而降频在这种强同步的切分里会被放大成木桶效应——只要一张卡慢下来,整组张量并行就得等它。稳定性在这里不是锦上添花,而是性能的一部分。

一万网络在给这类客户做节点建议时,通常会把电网质量、制冷冗余和网络对等互联这三项放在硬件报价之前讨论,因为硬件可以后续升级,机房的外部条件却很难在迁入之后改变。价格方面,这一区域的机柜与带宽属于公开报价与实时询价并存的模式,具体额度以服务商实时报价为准,靠一个笼统的历史数字做预算往往会漏掉电力附加和跨区流量这两块。

合规与运维时区还有一层隐性成本

还有一个容易被忽略的点是运维时区。集群放在美东,而很多算法团队在亚洲,故障发生时能不能有人及时到场、远程带外管理是否完善,会决定你敢不敢上复杂的多节点切分。跨节点方案一旦出问题,排障窗口往往比单节点长得多。所以选节点的时候,把带外管理、远程 KVM、现场响应这些能力一起算进去,比单纯比较每小时费率更实际。

GPU 与 CPU 的搭配,决定了切分策略的起点

很多人以为拓扑只是 GPU 之间的事,其实 CPU 这一侧早就埋下了伏笔。GPU 都插在 CPU 的 PCIe 通道上,通道怎么分、CPU 有几颗、内存挂在哪个芯上,都会影响卡与卡之间到底要走多远。

看通道数,更要看通道从哪颗 CPU 出来

一颗处理器能提供的 PCIe 通道数是有限的。八张卡如果全速接满,往往需要两颗 CPU 分摊,这就自然地形成了两个 NUMA 节点。跨 CPU 访问内存、跨 CPU 让两张卡通信,代价明显高于同侧。张量并行如果恰好把互相通信最密集的几张卡分在两颗 CPU 下,等于人为制造了一条绕远路的内部链路。合理的做法是先看清通道归属,再决定切分的分组,让通信密集的卡尽量落在同一颗 CPU、同一个交换芯片下。

代际差异直接改写了可行边界

不同代际的加速卡,互联能力差别很大。较早的八卡方案依靠 NVLink 配合交换芯片实现高带宽全互联,卡间双向带宽做到几百 GB 每秒的量级;更新的平台把这个数字进一步抬升,并引入了更灵活的拓扑。相对地,纯 PCIe 的机器,即便用上新代通道,单条链路的可达带宽和转发延迟也难以和专用互联相比。这里要提醒一句,具体数值以厂商官方数据表为准,不同配置、不同插槽组合下差异很大,不要拿旗舰机型的峰值套到中端机型上。

CPU 侧还有个细节:内存带宽和核心数会影响权重预热、分词、采样这些前后处理环节。当 GPU 因为强同步而等待时,如果 CPU 侧的后处理还慢半拍,瓶颈就从互联转移到了主机。我们见过一些配置,卡很豪华,CPU 却是低频少核的型号,结果高并发请求下分词队列堆积,GPU 大量空转。这种浪费和拓扑无关,但同样是切分方案落地时必须一起看的因素。

NVLink 与 PCIe 拓扑:张量并行和流水线并行的真正分水岭

这一节是全文的核心。前面讲的所有现象,最终都要落到这一层的具体连线上。理解它,你就能在拿到一台机器时,大概判断出它适合哪种切分,而不是靠反复试错。

两种拓扑的物理结构差别

带交换芯片的 NVLink 方案,目标是让任意两张卡之间的通信尽量对等。八张卡通过交换结构连成一个相对扁平的网络,任意一对卡通信不需要绕经别的卡,也不需要经过 CPU。这种全互联特性正是张量并行最想要的:参与同步的每张卡,都能以接近的延迟和带宽跟其他卡对话,all-reduce 不会因为某两个卡之间特别慢而被拖住。

纯 PCIe 的结构则更像一棵树。卡挂在交换芯片下,交换芯片再往上连到 CPU 的根复合体。同一交换芯片下的两张卡通信路径短一些,跨交换芯片、跨 CPU 的卡就要沿着树往上再往下走一遍,中间还可能和其他流量共享上行链路。这不是说 PCIe 不能用,而是说它的拓扑是分层的、不对等的,你必须把通信模式匹配到这棵树上:让通信密集的伙伴尽量靠近,让跨树的通信尽量少。

为什么张量并行几乎离不开高带宽互联

张量并行的做法是把每一层的矩阵计算切开放到不同卡上,算完一部分立刻做 all-reduce 汇总。它的通信有三个要命的特征:频率高,每层每步都要同步;消息相对小,单个算子切出来的数据量未必很大;强同步,所有卡必须等齐才能进入下一步。这三条加在一起,意味着延迟比带宽更关键。一个延迟高但带宽尚可的链路,在张量并行里会表现得很差,因为每次同步都要付一次延迟的固定成本,乘上几十层再乘上每个 token,累积起来非常可观。

所以在实际选型里,我们基本不会建议在纯 PCIe、尤其是跨 CPU 的拓扑上做八卡张量并行。两卡之内、且两张卡确实挂在同一交换芯片下,或许还能凑合跑一跑,规模一大就迅速恶化。这不是框架优化能救回来的问题,是物理路径决定的上限。

流水线并行为什么对拓扑宽容得多

流水线并行是另一种思路:把模型按层切成若干段,每张卡负责连续的一段,激活值从一段传给下一段。它的通信量通常比张量并行小一个量级,而且是点对点的、单向为主的传递,不像 all-reduce 那样要求所有卡齐步走。这样的通信模式对机内带宽没那么苛刻,跑在 PCIe 上也完全可行,只要切分边界选得合理、每张卡分到的计算量均衡,不出现某一段特别慢导致的流水线气泡。

但流水线并行有自己的脾气。它把模型切成串行依赖的段,段与段之间的等待叫做气泡,分段越多、每段的计算越不均匀,气泡占比越高。跨节点流水线还会把边界通信暴露在更高的网络延迟下,所以节点内的段尽量多切、跨节点尽量少切,是常见的经验法则。也就是说,拓扑不只是决定能不能用某种切分,还会影响同一种切分内部怎么切分得更好。

用命令把拓扑看清楚,而不是靠猜

好消息是,不需要拆开机箱就能把这套结构摸清楚。驱动自带的拓扑查询工具能列出每张卡之间的连接类型:同一设备内的直连、经过 PCIe 交换、经过同一根复合体、跨 CPU 插槽等等,各种代号对应不同的转发跳数。把这张矩阵拉出来看一眼,哪几张卡挨得近、哪几张隔得远,一目了然。再配合通信库的基准测试工具,实测一把 all-reduce 和点对点在真实消息长度下的带宽曲线,就能把理论拓扑和可达性能对上号。

我们通常建议客户在机器交付、环境装好之后,第一件事不是跑模型,而是跑一遍拓扑矩阵和通信基准,把结果留档。以后换驱动、换框架、加卡、迁移机房,都拿这份基线去对比。很多"莫名其妙变慢"的问题,追到最后是某次维护之后卡的插槽位置变了、或者某条上行链路掉了,有基线在手,这种排查从几天缩短到几分钟。

把策略选择写成一张对照表

为了让上面的判断更直观,我们把几种常见切分方式和拓扑需求的对应关系整理成下面这张表。它不是严格的规则,而是一个起手式的参考:先看你的拓扑属于哪一类,再决定优先尝试哪种切分,避免在明显不匹配的组合上浪费时间。

切分方式主要通信模式对机内拓扑的要求典型适用场景
张量并行每层高频 all-reduce / all-gather,消息偏小,强同步需要高带宽、低延迟、尽量对等的互联;带交换芯片的全互联最理想节点内 2 到 8 卡,模型单层维度大,追求低延迟
流水线并行段间点对点传递激活,通信量较小,串行依赖PCIe 即可胜任;关注分段均衡与气泡,跨节点时看网络延迟卡数较多、模型层数多、节点内互联一般的情况
数据并行梯度或参数 all-reduce,消息大,频次相对低对带宽敏感但对延迟容忍度较高;关注网卡与 GPU 的亲和性多节点横向扩展,单卡能放下完整模型副本
专家并行按专家分发的 all-to-all,模式不规则机内机间都吃带宽,对拓扑均匀性要求高稀疏专家模型,专家数量多且分布跨卡
序列并行 / 上下文并行长序列切分后的环形或集合通信对链路带宽和拓扑对称性都有要求,长上下文场景尤甚超长上下文推理,显存放不下完整序列

表里的"要求"说的是倾向,不是绝对禁令。真正决定可行性的,是把通信量、消息大小、同步频率和你的可达带宽、延迟逐项对上。同一个模型,批量大小和序列长度一变,通信特征就变,最优切分也可能跟着变。这也是为什么我们一直强调要实测,而不是照搬别人的切分配置。

存储与模型加载:别让权重分发拖了后腿

聊完互联,得回头补一个经常被忽略的环节:模型权重是怎么进到显存里的。多卡切分之后,每张卡只加载自己那一份权重,启动阶段多张卡同时读盘、解压、搬运,对存储系统的压力比单卡大得多。一个几百 GB 的模型,冷启动时如果存储跟不上,光加载就能耗掉几分钟,每次扩缩容都要重新付这笔时间。

本地高速固态盘是基础,但更关键的是并行读取能力和缓存命中。如果多张卡从同一个机械盘或者同一个受限的网络存储读权重,很容易在启动瞬间把存储带宽打满,反而互相拖慢。比较稳妥的做法是把权重预先预热到每台机器的本地盘,再让各卡从本地并行读取;有多副本的平台,还可以让不同节点分摊不同层的权重再内部同步,减少对共享存储的争用。

还有一点和拓扑相关:权重加载完之后,服务运行期对存储的依赖其实很低,主要剩下日志和偶尔的增量检查点。所以存储投入应该集中解决启动和扩缩容的峰值,而不是按持续吞吐去堆配置。把这一点想明白,能省下不少预算。一万网络在帮团队做整机方案时,通常会把本地盘容量、预热机制和共享存储的职责拆开设计,避免为了冷启动那几分钟去过度配置一套昂贵的共享存储。

一套可落地的实施方案

把前面所有判断串起来,落地可以按一个相对固定的顺序推进。这个顺序不是死板的流程,而是一套排查思路:每一步都有明确的产出,下一步建立在上一步的结论之上,出问题也好定位是哪一环出的。

第一步:拿到机器先做拓扑基线

交付后立刻跑拓扑矩阵和通信基准,记录卡间连接类型、NUMA 归属、网卡亲和性,以及 all-reduce 和点对点在不同消息长度下的实测带宽。把这份基线存成文档,作为后续所有对比的参照。没有这一步,后面所有的性能变化都缺少判断依据。

第二步:按拓扑反向选定并行策略

如果机器有交换芯片支撑的互联,优先把最需要同步的部分放进节点内做张量并行;如果是纯 PCIe,就老老实实以流水线并行为主,把通信密集的伙伴绑定到同一交换芯片下。跨节点的部分尽量交给数据并行或流水线的粗粒度边界,别把高频同步撒到网络上去。

第三步:做绑核与亲和性调整

把每个 GPU 进程绑定到离它最近的 CPU 核心和内存节点,让网卡中断落在和它配对的那组 GPU 同侧。很多性能问题到这一步会发生明显改善,因为它消除的是那些看不见的绕路。调整之后重新跑一遍通信基准,确认可达带宽确实上来了,而不是凭感觉。

第四步:用小批量压测验证,再逐步放量

先用固定的小批量和短序列把吞吐和延迟的稳定值测出来,观察 GPU 利用率是否平滑、有没有因为某张卡拖后腿而出现锯齿。确认稳定后再逐步加大批量和序列长度,每次都观察通信时间占比的变化。这个占比是判断切分是否合理的直接指标:如果通信时间随着规模增长得比计算还快,说明切分方式或拓扑已经到极限,继续堆卡只会更糟。

第五步:建立长期监控与故障预案

上线之后把卡间链路状态、GPU 频率、通信耗时、流水线气泡这些指标纳入监控。一旦某条链路降级或者某张卡频繁降频,告警要能第一时间响。多节点方案的排障窗口长,提前准备好单节点降级的预案——比如临时退回更少卡的切分、把流量切到健康节点——比事发时临时想辙靠谱得多。

一个真实会踩的坑:切分分组和拓扑没对齐

有个现象值得单独拎出来讲,因为它特别隐蔽。同样一台八卡机器、同样的切分参数,换个进程启动顺序,性能能差出一大截。原因往往在于:框架给参与并行的卡编号,和物理拓扑上的远近关系不是一回事。进程组里排在第一张的卡,未必就是离第二张最近的卡。如果你按编号顺序做分组,很可能把本该贴在一起通信的两张卡分到了树的两个分支上,all-reduce 每次都要爬到根复合体再折返回来。

解法其实不复杂:在启动脚本里读一遍拓扑矩阵,把连得最近的几张卡组织到同一个通信组里,把跨 CPU 的卡留给通信量最小的那段流水线。有些框架允许你指定卡的顺序,有些则需要自己设定可见设备的排列。无论用哪种方式,目标都是一样的——让编号顺序去迁就物理距离,而不是反过来。这件事做与不做,性能差距比升一级驱动、换一版框架都明显,可惜大多数部署文档里都不会提醒你。

还有一类坑出现在扩容之后。原来四卡时一切正常,加到八卡,新上的四张卡挂在另一颗 CPU 下,旧的切分分组没跟着调整,于是原来纯节点内的张量并行突然多出了一堆跨 CPU 通信。表现就是扩容之后单机吞吐不升反降,团队百思不得其解。只要你手里有那份拓扑基线,扩容后重新对齐一次分组,这类问题基本都能避开。

常见问答

两卡机器做张量并行,一定要有 NVLink 吗?

不一定,但要看这两张卡是不是挂在同一条 PCIe 交换路径下。如果两张卡同属一个交换芯片、路径对称,小规模张量并行通常能跑起来,只是可达带宽和延迟比专用互联差一截。如果两张卡分属不同 CPU,跨根复合体的通信延迟会明显偏高,张量并行的收益很可能被通信吃掉,这种情况更建议改用流水线思路。

张量并行和流水线并行能不能混着用?

可以,而且在中大规模集群里这几乎是常态。常见做法是节点内做张量并行,利用高带宽互联消化高频同步;节点之间做流水线并行或数据并行,用粗粒度通信降低对网络的压力。关键是把高频、小消息的通信留在节点内,把低频、大消息的通信放到跨节点,别把顺序弄反。

机器没有专用互联,是不是就彻底没法做多卡推理?

不是。以流水线并行为主的方案对机内带宽要求不高,纯 PCIe 机器同样能做多卡推理,只是要接受更低的扩展效率,并在分段均衡和绑核上多下功夫。真正不现实的,是在层次化的 PCIe 树上做大规模张量并行——那是在跟物理路径较劲,调优空间很有限。

跨节点通信用普通以太网行不行?

轻度使用可以,比如流水线边界通信量不大时。但一旦涉及数据并行的大消息 all-reduce 或者专家并行的 all-to-all,普通以太网的带宽和软件开销会成为瓶颈,还会大量占用 CPU。高速无损网络配合远程直接内存访问才是这类场景的常规选择,具体选型以实际消息规模和时延目标为准,需要结合压测结果确定。

怎么快速判断一台机器的互联是不是对等?

跑一遍拓扑查询命令,看卡与卡之间的连接类型矩阵。如果任意两张卡都显示为同等类型的直连,通常是对等互联;如果出现多种类型混杂、有些卡之间要经过更多转发层次,那就是层次化拓扑。再配合通信基准实测,几分钟之内就能得到结论,比翻硬件手册快得多。

这些方案的硬件和带宽费用大概怎么估?

这没法给一个通用数字。加速卡型号、卡数、互联形态、机柜电力、网络带宽和机房区域都会显著改变总价,同一配置在不同服务商处的报价也可能相差不少。比较靠谱的方式是先把并行策略和拓扑需求定下来,再按这个需求去询价,价格性质上属于公开报价与实时询价并存,最终以服务商实时报价为准,不要拿别人的历史合同直接套。

结论

回到开头那个问题:多卡推理集群里,NVLink 和 PCIe 拓扑到底怎么影响模型切分?答案其实不复杂。拓扑不直接决定你能不能跑某个模型,它决定的是哪种并行策略在这台机器上是廉价而高效的,哪种是昂贵而勉强的。张量并行吃的是高带宽、低延迟、尽量对等的机内互联;流水线并行吃的是合理的分段和稳定的点对点链路;数据并行和专家并行则把压力推向网络和网卡亲和性。把通信特征和物理路径对上,性能是顺理成章的事;对不上,再多的框架调优也只是在弥补先天的缺口。

实操上,最值得养成的习惯有两个。一是拿到机器先做拓扑和通信基线,把看不见的连接结构变成看得见的数据;二是先用小批量压测确定切分是否合理,确认通信时间占比可控之后再放量。把这两件事做到位,很多看似玄学的多卡性能问题,都会变成可以解释、可以定位、可以预防的工程问题。硬件会换代、框架会更新,但通信特征必须匹配物理路径这套朴素逻辑,短时间内不会过时。

来源一:NVIDIA 官方 HGX / DGX 平台产品页与技术数据表,关于 NVLink、NVSwitch 的带宽口径与八卡互联拓扑说明;NVIDIA NCCL 官方文档与 nccl-tests 基准测试说明,关于集合通信类型与拓扑检测方法的描述。

来源二:NVIDIA 驱动工具 nvidia-smi 官方文档,关于 topo 矩阵中各类连接代号与转发路径的定义;PCI-SIG 官方 PCIe 规范说明,关于通道速率、代际参数与带宽计算口径的内容。

来源三:Megatron-LM 张量并行相关论文与 NVIDIA 技术博客,关于张量并行、流水线并行通信模式的论述;主要云服务商美国东部(弗吉尼亚北部)区域与数据中心的官方机房、电力与网络对等互联说明。文中带宽口径、配置参数与价格性质均以各厂商、服务商官方页面及实时报价为准,需询价的项目未做精确承诺。


上一篇:大促峰值流量翻倍,服务器是全年预留还是临时弹性扩容

下一篇:南大西洋的葡语业务,普拉亚真能当区域接入点吗