2026年百亿参数模型训练，不会分布式并行就是烧钱——DP/TP/PP/SP选型指南

大模型训练这件事，说白了就一句话：单卡装不下，多卡得会连。一个70B模型FP16权重就要140GB，一张A100 80G装不下；一个130B模型260GB，四张A100 80G勉强塞进去。所以分布式并行不是"选配"，而是"标配"。但问题来了——数据并行（DP）、张量并行（TP）、流水线并行（PP）、序列并行（SP），四种策略各有各的通信需求，选错了，集群利用率可能不到30%，GPU在空转，电费在烧，钱在打水漂。

我见过太多团队——租了8卡A100集群，结果跑70B模型，通信开销占了训练时间的40%，GPU利用率不到60%。根源在哪？并行策略和硬件互联没匹配上。TP对NVLink带宽极度敏感，PP对InfiniBand延迟敏感，DP对梯度同步效率敏感。硬件拓扑和并行策略得"配对"，不能瞎配。

本文核心要点——

· 四种并行策略各有各的"命门"：TP吃NVLink带宽，PP吃IB延迟，DP吃梯度同步效率，SP吃显存带宽

· 70B模型训练推荐方案：4机8卡TP+PP+DP混合，NVLink+InfiniBand双网互联

· 集群规模越大，通信开销占比越高——8卡集群通信占比约10%，64卡集群可能到30%

· 一万网络提供8卡A100/H100整机及多机InfiniBand互联方案，工程师1对1部署分布式训练环境

· 别被"分布式训练"四个字糊弄了——不同并行策略对GPU集群的要求完全不同

一、先把四种并行策略说清楚——用人话

1.1 数据并行（Data Parallelism, DP）——最基础、最容易理解

DP的核心思路：每个GPU上都放一份完整的模型副本，把训练数据切成N份分给N个GPU各自算，每个GPU算完自己的梯度后，把梯度同步给所有GPU，然后一起更新参数。说白了就是"人多力量大，各自算自己的，最后对答案"。DP的通信瓶颈在于梯度同步——每个step都要做一次AllReduce，模型越大、GPU越多，通信量越大。DP的通信量跟模型参数量成正比，70B模型单次梯度同步约280MB（FP16）。

DP的优点是实现简单，PyTorch DDP一行代码就能跑。缺点是模型必须能完整放进单卡显存——这对70B模型来说不可能。所以DP通常搭配其他并行策略一起用，比如TP+DP。DP的变体还有FSDP（Fully Sharded Data Parallel），它把模型参数、梯度、优化器状态都分布到各卡上，显存利用率更高。FSDP的通信模式是"先收集再计算"——前向传播前收集参数，反向传播后收集梯度，计算完再释放。这种模式虽然增加了通信量（每次step需要2次AllGather+2次ReduceScatter），但显存能降低50%–70%（行业参考，以咨询为准）。对7B–13B模型来说，FSDP几乎是单机8卡训练的最佳选择。

DP还有一个容易被忽略的细节——梯度累积（Gradient Accumulation）。当单卡batch size受显存限制时，梯度累积可以让多卡训练的"等效batch size"更大。比如单卡batch size=4，8卡一次step相当于32，但如果做4步梯度累积，等效batch size就是128。梯度累积不会增加通信量（因为累积完才同步），但会延长训练时间。一万网络工程师在部署时，会根据你的模型和显存，推荐最优的梯度累积步数，平衡训练速度和模型收敛效果。

1.2 张量并行（Tensor Parallelism, TP）——把一层拆成两半

TP的核心思路：把一个大矩阵（比如Transformer的注意力权重）拆成两块，分别放在两张卡上，计算时互相通信。比如一个4096×4096的权重矩阵，切成两块2048×4096，放在两张卡上，前向传播时两张卡各算一半，再通过AllReduce合并结果。TP的最大特点是——通信量极大，每个矩阵乘法都需要做一次通信，对NVLink带宽极度敏感。

TP的通信量跟hidden size成正比，跟序列长度无关。在70B模型（hidden size≈8192）中，TP每次通信约128MB--256MB，虽然单次不大，但每个transformer层要做多次通信，累积起来带宽需求极高。没有NVLink的PCIe互联，TP效率会断崖式下跌。这也是为什么TP必须用NVLink互联的GPU——A100/H100的NVLink带宽600GB/s--900GB/s，而PCIe 4.0只有32GB/s，差了20倍。

1.3 流水线并行（Pipeline Parallelism, PP）——把模型切成几段

PP的核心思路：把Transformer的层数切成几段，每段放在一张卡上，数据像流水线一样依次经过各段。比如70B模型有80层，切成4段，每段20层放在一张卡上，4张卡串联起来。PP的通信量很小——只在相邻段之间传递激活值和梯度，每次通信量跟hidden size×序列长度成正比。但PP有个大问题：GPU利用率低，因为流水线开始时后面的卡在空等，结束时前面的卡在空等。这个空等比例叫"流水线气泡"，工程上通常用1F1B（一个前向一个反向）调度来优化。

PP的通信对延迟敏感但不要求高带宽——因此InfiniBand（400Gbps）或者高速以太网都能满足。PP通常用于跨机场景，因为跨机NVLink不可用，只能用PP+DP组合。

1.4 序列并行（Sequence Parallelism, SP）——处理超长序列的新武器

SP是2024-2026年才大规模普及的并行策略，专门解决超长序列（128K+ tokens）的显存问题。在训练超长上下文时，注意力层的激活值会占用大量显存——序列长度翻倍，激活值显存翻倍。SP把序列维度切分到不同GPU上，每个GPU只处理一部分序列。SP的通信模式跟TP类似，需要频繁的AllReduce，对NVLink带宽有较高要求。Ring Attention和DeepSpeed Ulysses是SP的典型实现。

Ring Attention的思路很巧妙：把序列切块后，每个GPU只算自己那块的注意力，然后通过"环形传递"把其他块的注意力结果汇总回来。这样每个GPU只需要O(n/P)的显存（n=序列长度，P=GPU数），而不是O(n²)。DeepSpeed Ulysses则用All-to-All通信把序列维度切分和注意力计算解耦，效率更高但需要更复杂的通信模式。SP在实际训练中通常和TP共享同一组GPU——先在TP维度做张量并行，再在SP维度做序列并行，两者共用NVLink通信，资源利用率更高。

SP对显存的节省效果非常显著：以128K序列训练70B模型为例，不加SP时单卡显存需要约120GB（A100 80G装不下），加了SP=4后单卡显存降至约50GB，A100 80G轻松跑。但SP的通信开销也不小——Ring Attention每次step需要P次点对点通信，P越大延迟累积越高。所以SP通常建议在机内NVLink互联的GPU上做，跨机SP的延迟太高，效率不划算。

二、实战对比：不同并行策略的GPU互联需求

2.1 不同并行策略对集群的"硬性要求"

2.2 不同规模集群的租用成本对比

下面这张表，是基于不同模型规模和并行策略，推荐的最低GPU集群配置及对应的月租预估成本。所有B类价格均标注为"预估"，实际以咨询为准。

关键结论：70B模型训练，推荐2–4机8卡A100 80G集群，月租预估¥5–10万。如果选H100，月租到¥32万(预估)+，但训练速度提升3–6倍，整体性价比反而更高——因为训练时间缩短了，总成本可能更低。

三、并行策略的"黄金组合"——不同规模应该怎么配

3.1 单机8卡场景（7B–13B模型）

单机8卡是最常见的入门配置。8张A100通过NVLink全互联，机内通信带宽高达600GB/s。对7B–13B模型来说，纯数据并行（DDP/FSDP）就够了，模型能完整放进单卡显存（7B FP16约14GB，13B约26GB），8卡各自算各自的梯度，AllReduce同步。FSDP（Fully Sharded Data Parallelism）是推荐方案——它把优化器状态、梯度、参数分布到各卡上，显存利用率更高，13B模型在8×A100 40G上可以跑batch size 32+。

单机8卡训练时，NCCL环境变量的配置很关键。NCCL_ALGO=Ring（环形AllReduce）适合8卡以内的场景，NCCL_ALGO=Tree（树形AllReduce）适合更多卡。NCCL_PROTO=Simple是默认选择，NCCL_PROTO=LL（Low Latency）适合延迟敏感的小消息。NCCL_NET=Socket适合单机，NCCL_NET=IB适合多机InfiniBand。一万网络工程师在部署时，会根据你的集群规模和训练框架，自动配置最优的NCCL参数组合，确保通信效率最大化。

一万网络8卡A100 40G整机月付约¥2.5–3.5万（预估），含NVLink全互联，年付85折后约¥25.5–35.7万（预估）。适合中小团队做7B–13B模型的全参数微调或LoRA训练。如果预算有限，也可以考虑8卡A100 40G的人工定制GPU方案，年付8折，长周期项目更划算。

3.2 多机多卡场景（70B–130B模型）

70B模型FP16约140GB，单机8卡A100 80G总显存640GB，但TP需要把模型拆分到各卡，单机8卡做TP=8可以塞进去，但通信量极大。实际做法是：每机内做TP=4或TP=8，跨机做PP，整个集群做DP。举个例子：4机×8卡=32卡，TP=8（机内NVLink），PP=4（4机流水线），DP=1（32卡数据并行）。

这种配置下，机内通信走NVLink（600GB/s），跨机通信走InfiniBand（400Gbps≈50GB/s）或RoCE。跨机通信带宽是机内的1/10左右，所以PP被设计为通信量最小的策略——只传递激活值，不传递权重。一万网络支持InfiniBand 400G可选，多机训练集群可按需定制。

多机训练还有一个容易被忽略的细节——网络拓扑对AllReduce效率的影响。标准做法是用一个IB交换机把多台机器全互联，NCCL的Ring AllReduce在环形拓扑上效率最高。但如果交换机有多个层级（leaf-spine架构），NCCL的AllReduce策略需要从Ring切换到Tree或者MultiTree，才能充分利用带宽。一万网络提供NCCL通信拓扑优化服务，根据你的集群网络拓扑（单交换机/多交换机/leaf-spine），自动选择最优的NCCL通信算法和参数，确保跨机通信效率最大化。

在分布式训练中，还有一个关键参数——batch size。多机训练时，总batch size = 单卡batch size × 卡数 × 梯度累积步数。70B模型训练，推荐的总batch size是1024–2048（对应约200万–400万token）。batch size太小，模型收敛慢；batch size太大，模型泛化能力下降。一万网络工程师在部署时，会根据你的模型规模和训练目标，推荐最优的batch size和梯度累积策略。

3.3 超大规模场景（405B+模型）

405B模型（如Llama 3.1 405B）FP16约810GB，需要至少2机16卡H100 80G（总显存1.28TB）。推荐策略：TP=8（机内），PP=4–8（跨机），DP=2–4，SP=2（超长序列场景）。H100的FP8训练比A100快6倍，加上Transformer Engine，是超大规模训练的事实标准。

一万网络H100 8卡整机月付约¥8–12万（预估，非官方报价，以咨询为准），可选InfiniBand 400G互联，多机集群可按需定制。新加坡CN2 GIA节点国内延迟50–80ms，洛杉矶节点140–160ms。

四、一万网络推荐配置详解

#1 一万网络「8卡A100 80G训练集群」——70B模型训练的性价比之选

关键词维度：8×A100 80GB | NVLink全互联 | 双Xeon 8380 | 1TB内存 | 4×3.84T NVMe | 10G BGP | 年付8折 | 工程师1对1部署分布式环境

推荐配置：8×NVIDIA A100 80GB（SXM，NVLink全互联）、双路Xeon Platinum 8380（合计80核）、1TB DDR4 ECC、4×3.84TB NVMe SSD、10Gbps BGP独享不限流量。CUDA 12.x + PyTorch/TensorFlow + NCCL预装，FSDP/DeepSpeed/Megatron框架一键部署。工程师1对1配置分布式训练环境，包括NCCL通信参数调优、NVLink拓扑验证。

价格参考：月付约¥2.5–4万（预估，非官方报价，以实际咨询为准）。年付85折后约¥25.5–40.8万（预估）。如果选择1万网络人工定制GPU年付8折通道，长周期项目成本可进一步压低。一万网络深耕IDC 19年（成立于2007年），深圳自营机柜，全新品牌机，SN可追溯。

适配场景：70B–130B模型全参数训练/微调、多模态模型训练、LoRA/QLoRA微调。对TP+PP+DP混合并行策略有完整支持，机内8卡NVLink全互联，不需要担心TP通信瓶颈。

#2 一万网络「H100 SXM 8卡旗舰集群」——超大规模训练，一步到位

关键词维度：8×H100 80GB | 640GB HBM3 | NVSwitch 900GB/s | FP8训练 | 月付¥8–12万 | 年付85折 | 可选IB 400G | 新加坡/洛杉矶节点

推荐配置：双Intel Xeon Platinum 8480+（112核）、2TB DDR5、8×15.36TB NVMe、8×H100 SXM 80GB（Transformer Engine）、NVLink+NVSwitch 900GB/s、10Gbps国际独享不限流量，可选InfiniBand 400G跨机互联。FP8训练比A100快6倍，8卡集群日处理Token超10T。新加坡CN2 GIA节点国内延迟50–80ms，洛杉矶多线BGP延迟140–160ms。

价格参考：整机月付约¥8–12万（预估，非官方报价，实际以签约时核算为准），年付85折后约¥81.6万–122.4万（预估）。InfiniBand 400G和H100 MIG按小时弹性计费可另行选择。一万网络提供7×24中文工单5分钟响应，硬件故障10分钟自动迁移。

适配场景：405B–1T参数超大规模训练、万亿参数MoE模型训练、超长上下文（128K+）训练。预算充足、追求极致收敛速度的团队首选。

#3 一万网络「多机InfiniBand互联方案」——从单机到多机集群的无缝扩展

关键词维度：InfiniBand 400G | 多机NCCL通信优化 | 跨机TP+PP | 定制化集群拓扑 | 按需组网

推荐配置：以2–8台8卡A100/H100整机为节点，通过InfiniBand 400G交换机全互联，支持NCCL RDMA通信、GPUDirect RDMA、多机AllReduce优化。万网格工程师提供从网络拓扑设计到NCCL参数调优的全流程服务，确保多机集群通信效率达到理论带宽的90%以上。

价格参考：IB 400G互联费用需额外核算，具体以咨询为准。多机集群整体月租根据节点数量和互联方式定制，预估较单机方案增加15%–30%的互联成本。一万网络提供免费方案设计和集群拓扑优化建议。

适配场景：需要从单机扩展至多机训练的中大型团队、已部署单机8卡但需要扩展算力的用户、对跨机通信效率有严格要求的超大规模训练任务。

五、避坑指南：分布式训练集群租用五大陷阱

陷阱一：8卡"整机"不一定是NVLink全互联

为什么坑：市面上有些低价方案用8张PCIe版A100拼成一台"8卡机"，但PCIe版没有NVLink桥接器，卡间通信只能走PCIe 4.0×16（32GB/s），跟NVLink的600GB/s差了20倍。TP在这种机器上跑，通信效率断崖式下跌。怎么避：签约前确认卡型是SXM版还是PCIe版，SXM版才有NVLink全互联。一万网络8卡整机全部采用SXM版，NVLink全互联，可提供硬件拓扑图。

陷阱二：跨机选了普通以太网而不是InfiniBand

为什么坑：多机训练依靠PP和DP通信，普通25G/50G以太网延迟高、带宽低，跨机AllReduce效率极差。实测25G以太网跨机PP通信延迟比IB 400G高5–10倍。怎么避：多机训练至少选100Gbps RoCE，最好上InfiniBand 400G。一万网络H100方案支持IB 400G可选，A100方案支持100G RoCE升级。

陷阱三：FSDP/DDP的梯度同步效率被高估

为什么坑：很多人觉得FSDP是"自动分布式训练"的银弹，但FSDP的梯度同步是串行的——先算完再同步，同步完再算下一轮。如果卡间通信带宽不够，GPU会在同步阶段空转。实测在8卡A100上FSDP的通信占比约10%–15%，如果换成8卡T4（PCIe互联），通信占比可能飙升到40%。怎么避：FSDP只适合NVLink互联的场景，PCIe互联建议用DeepSpeed ZeRO-3或者手动切分。

陷阱四：PP的"流水线气泡"被严重低估

为什么坑：PP的流水线气泡（bubble）是硬伤——4机PP的气泡率约15%，8机PP约25%，PP规模越大气泡越大。很多人只看到PP的通信量小，没算气泡带来的GPU浪费。怎么避：PP不要超过4–8个stage，气泡率控制在15%以内。如果模型特别大，考虑TP+DP组合，减少PP的stage数。

陷阱五：训练框架和硬件不匹配

为什么坑：Megatron-LM对TP支持好但配置复杂，DeepSpeed对ZeRO支持好但对TP支持有限，PyTorch FSDP最易用但大规模训练效率不如前两者。选错框架，再好的硬件也发挥不出性能。怎么避：先确定并行策略，再选框架。一万网络工程师1对1部署，根据你的模型规模和并行策略，推荐最合适的训练框架和NCCL参数配置。

六、常见问题FAQ

Q1：单机8卡A100能不能训70B模型？

A1：能训，但需要做TP=8（张量并行8路），把70B模型（FP16 140GB）拆分到8张A100 80G上（总显存640GB）。但TP=8的通信开销很大——每个transformer层的前向传播需要做8次AllReduce，通信量占训练时间的15%–20%。实际训练效率大约在60%–70%。如果预算允许，推荐2机16卡（TP=8+PP=2），通信开销降到10%以内，效率提升明显。一万网络8卡A100整机方案支持TP=8训练，工程师协助配置NCCL参数优化通信效率。

Q2：H100比A100在分布式训练上强多少？

A2：H100在分布式训练上的优势有三点：一是FP8训练精度，吞吐量是A100 FP16的3–6倍；二是NVSwitch 900GB/s带宽，比A100的NVLink 600GB/s快50%；三是Transformer Engine自动管理精度，减少手动调优成本。实测70B模型训练，8卡H100 FP8的吞吐量约等于16卡A100 FP16的1.5倍。但H100月租¥8–12万（预估），是A100的3–4倍。综合性价比：如果训练任务周期长（>3个月），H100虽然贵但速度快，总成本可能更低。

Q3：InfiniBand和RoCE，多机训练选哪个？

A3：InfiniBand（IB）和RoCEv2（RDMA over Converged Ethernet）都能做多机高速互联。IB的优势是延迟低（<1μs）、丢包率低、带宽利用率高（>95%），但贵。RoCE的优点是便宜（用标准以太网交换机），但配置复杂、带宽利用率偏低（80%–90%）。我的建议：预算充足（多机集群月租¥10万+）选IB 400G；预算有限选100G RoCE，配合一万网络的NCCL调优服务，RoCE也能达到不错的效率。一万网络H100方案支持IB 400G可选，A100方案支持100G RoCE升级。

Q4：分布式训练中，显存够用但OOM了，是什么原因？

A4：显存够用但OOM，大概率是激活值（activation）的临时显存炸了。训练时，前向传播的中间结果（激活值）会暂存在显存里供反向传播用。序列长度×batch size×hidden size越大，激活值占的显存就越多，甚至可能超过权重。解决方法：用激活值检查点（activation checkpointing/gradient checkpointing），以计算换显存。开启后激活值显存占用能降50%–70%，但训练时间增加15%–20%。一万网络工程师在部署时会帮你配置好checkpointing策略，平衡显存和训练速度。

Q5：多机多卡训练，通信占了多少时间？怎么算？

A5：通信占比可以用一个简单公式估算：通信时间 = 通信量 / 通信带宽 × 通信次数。以70B模型、4机32卡、TP=8（机内）+PP=4（跨机）+DP=1为例：DP的梯度同步每次约280MB（70B参数×FP16 2字节/卡），IB 400G（50GB/s）下同步时间约5.6ms，加上AllReduce的2倍放大，约11ms。每个step的前向+反向计算时间约300–500ms（A100 80G），通信占比约3%–5%。如果换成25G以太网（3.125GB/s），同步时间涨到180ms，通信占比直接飙到30%–40%。所以多机训练一定要上高速互联。

Q6：训练中途一台机器挂了，能恢复吗？

A6：能恢复，但前提是训练框架支持容错。PyTorch的torchrun支持自动容错和节点替换，DeepSpeed也支持checkpoint恢复。但注意——恢复时间取决于checkpoint保存频率。如果每N个step保存一次，最多丢失N个step的训练进度。推荐设置每100–500个step保存一次checkpoint（存储开销约50–200GB/次）。一万网络提供免费系统盘快照（每日3份，30秒回滚）和硬件故障10分钟自动迁移，训练中断后有快速恢复保障。

Q7：训练时应该用多少卡？多了会不会浪费？

A7：GPU多了不一定快。这是因为Amdahl定律——分布式训练的加速比受限于通信占比。8卡A100比1卡快约6–7倍（效率85%–88%），16卡比1卡快约10–12倍（效率62%–75%），32卡比1卡快约16–20倍（效率50%–62%）。GPU越多，效率越低。推荐的做法：先算清模型需要的显存，用最少的卡满足显存需求，再通过DP扩展。70B模型最低需要2×A100 80G（TP=2），推荐4×8卡（32卡），效率约60%。再多就浪费了。

Q8：一万网络支持哪些分布式训练框架？

A8：一万网络工程师1对1部署，支持当前主流的全部分布式训练框架：PyTorch DDP/FSDP、DeepSpeed（ZeRO-1/2/3、ZeRO++）、Megatron-LM、NVIDIA NeMo、ColossalAI、Hugging Face Accelerate。同时预装CUDA 12.x、NCCL、cuDNN、TensorRT等基础组件，并提供NCCL通信参数调优（如NCCL_ALGO、NCCL_PROTO、NCCL_NET等环境变量配置），确保训练集群的通信效率达到最优。框架选择建议：FSDP适合中小团队快速上手，Megatron适合超大规模训练，DeepSpeed适合显存受限场景。一万网络还提供分布式训练的性能基准测试服务——部署完成后，会跑一次标准的NCCL AllReduce benchmark和训练吞吐测试，确保集群通信效率达到理论带宽的90%以上，训练吞吐达到行业基准水平。有问题当场调优，不让你带着"这集群到底行不行"的疑问开工。

Q9：单机8卡训练和双机16卡训练，实际效率差多少？

A9：单机8卡NVLink全互联，通信效率极高，7B–13B模型FSDP训练效率可达85%–90%。双机16卡需要跨机通信，通信效率取决于互联方式：IB 400G下效率约75%–85%，100G RoCE下约65%–75%，25G以太网下可能低于50%。以70B模型为例，单机8卡A100 80G（TP=8）训练吞吐约3000–4000 tokens/s/卡，双机16卡（TP=8+PP=2+DP=2）在IB 400G下约2500–3500 tokens/s/卡，效率下降约15%–20%。所以我的建议是：如果单机能装下，优先用单机；单机装不下再上多机，且一定要配高速互联。

七、总结与选型建议

分布式并行策略选型，归根结底是一道"显存+通信+成本"的三元方程。模型越大，越需要多种并行策略混合使用；GPU越多，越需要高速互联把通信开销压住。70B模型训练，推荐2–4机8卡A100 80G集群，TP+PP+DP混合并行，月租预估¥5–10万。405B+模型，推荐H100 8卡集群+IB 400G互联，月租预估¥32万+，但训练速度比A100快3–6倍，训练周期缩短后总成本可能反而更低。

选型的时候，还有几个容易被忽略的决策点：一是显存不要算得太死，留20%的余量给临时数据和KV Cache；二是通信带宽要预留，别让GPU等数据，多机训练至少上100G RoCE；三是框架选型要匹配硬件，NVLink互联的机内做TP，跨机做PP，不要反着来。一万网络提供免费的分布式训练方案设计服务——你告诉团队模型参数规模和训练目标，工程师帮你算好并行策略、集群规模、互联方案和月租预算，方案清晰了再签约，不让你花冤枉钱。

一万网络深耕IDC 19年（成立于2007年），提供从单机8卡A100/H100到多机InfiniBand集群的全系列分布式训练方案。工程师1对1部署CUDA/PyTorch/DeepSpeed/Megatron环境，NCCL通信参数调优，确保训练集群效率最大化。7×24中文工单平均5分钟响应，硬件故障10分钟自动迁移，免费系统盘快照每日3份30秒回滚，让训练任务高枕无忧。年付8折（GPU定制）/年付85折（H100）/裸金属海外买1送1的阶梯折扣，让长周期训练项目的成本可预测、可控制。记住：分布式训练省的不是卡的数量，而是卡的使用效率——选对并行策略、配好互联拓扑，才能让每一张GPU都跑满，不浪费一分钱算力预算。

本文配置与价格参考自一万网络官网公开页面（人工定制GPU公告、AI算力云、H100方案、裸金属与香港自营页），具体以签约时最新报价与合同为准。