大模型训练的成本大头是GPU显存和算力。一个70B模型用FP32单精度训练，光模型参数就占280GB显存，加上梯度、优化器状态和中间激活值，单卡根本无法承载。混合精度训练用FP16/BF16/FP8替代FP32，在保留模型精度的前提下大幅降低显存占用和训练时间。本文拆解三种精度格式的原理差异、显存节省幅度、实际吞吐提升数据，并给出不同预算下的GPU服务器租用方案。

一、混合精度训练到底在解决什么问题

训练一个LLM，显存消耗主要来自五部分：模型权重、梯度、优化器状态（Adam动量和方差）、中间激活值（activation）、临时缓冲区。以7B模型为例，各部分的显存消耗如下。混合精度训练的核心思路是：前向传播和反向传播用低精度（FP16/BF16/FP8）计算，减少显存占用和计算时间；优化器更新用FP32精度保留，确保参数更新的准确性。这种"混搭"策略既保留了训练精度，又大幅降低了显存成本。

FP32训练7B模型需要120GB显存，而单张A100 80G最大才80GB，根本塞不下。但换成BF16混合精度，显存降到60GB，一张A100 80G就能跑起来。FP8混合精度进一步压到30GB，连RTX3090 24GB都能通过梯度累积完成训练。这就是混合精度训练的真实价值——不是精度换速度，而是精度换"能跑"。

梯度累积是一种配合混合精度训练的关键技术。当单卡显存装不下一个完整batch时，把batch拆成多个micro-batch，逐个计算梯度并累积，最后统一更新参数。以RTX3090 24GB为例，跑FP8训练时，单卡最大batch size为2，但通过梯度累积步数32，等效batch size达到64，训练效果与单卡64 batch一致。梯度累积让低显存GPU也能训练大模型，但代价是训练时间线性增加——累积步数越多，训练越慢。

理解混合精度训练还需要区分"模型精度"和"计算精度"两个概念。模型精度指权重和激活值保存时用的精度格式，计算精度指矩阵乘法等运算在硬件上执行时的精度。混合精度训练中，模型权重用FP16/BF16保存，但某些关键运算（如softmax、layer norm）仍用FP32计算，确保数值稳定性。这种区分在FP8训练中尤为重要——FP8的矩阵乘法用FP8 Tensor Core加速，但softmax和layer norm仍然保留在FP32精度下计算。

二、FP16、BF16、FP8三种精度格式深度对比

三种精度格式不是简单的"位数越低越快"，它们各自的设计取舍完全不同。

FP16（半精度浮点，16位）。1位符号位、5位指数位、10位尾数位。FP16的指数范围是±65504，超出这个范围就会溢出。在LLM训练中，FP16最突出的问题是"梯度下溢"——大量小梯度值落入FP16无法表示的范围（小于约6×10⁻⁸），直接归零。导致模型深层参数几乎不更新。2018年Mixed Precision Training论文提出的loss scaling技术部分缓解了这个问题，但需要手动调scale factor，不稳定。

BF16（脑浮点，16位）。1位符号位、8位指数位、7位尾数位。BF16的指数范围和FP32完全相同（±3.4×10³⁸），但尾数精度只有7位。这意味着BF16不会出现梯度下溢，因为梯度值再小也能被指数范围覆盖。代价是尾数精度低，某些对精度敏感的层（如layer norm的缩放因子）可能出现数值误差。A100从Ampere架构开始原生支持BF16，H100进一步优化了BF16计算吞吐。

FP8（8位浮点）。有两种变体：E4M3（4位指数、3位尾数）和E5M2（5位指数、2位尾数）。E4M3精度更高但范围窄，适合前向传播的权重和激活值；E5M2范围更宽但精度低，适合反向传播的梯度。FP8是H100 Hopper架构引入的，需要硬件级支持。FP8的显存节省是FP16的2倍，但训练稳定性仍需要大量工程验证。

从2026年的实际应用来看，BF16已经是业界主流选择。GPT-4、Llama 3、Qwen等主流模型的训练主力精度都是BF16。FP16因为梯度下溢问题，逐渐被BF16取代。FP8虽然显存节省惊人，但训练稳定性还需要更多的工程实践验证，目前更适合做微调和推理量化。

三、混合精度训练对GPU显存和吞吐的实际影响

拿一个具体的训练任务来测算。以7B模型为例，训练序列长度4096，global batch size 64，使用AdamW优化器。分别在A100 80G和H100 80G上跑BF16混合精度和FP8混合精度，实测数据如下。

FP8在A100上的吞吐提升需要说明：A100没有原生FP8计算单元，FP8训练是通过模拟实现的，实际吞吐提升不如H100明显。H100的FP8 Tensor Core是原生硬件加速，FP8吞吐是BF16的2.7倍。8卡H100跑FP8时，训练速度比8卡A100跑BF16快了4.3倍，但H100的租用成本也更高。

四、推荐配置方案：不同精度训练怎么选GPU

不同的训练精度对GPU硬件的要求不同，选错了卡要么浪费钱，要么跑不起来。以下三套方案基于实际训练场景推荐。

方案一：BF16混合精度训练（主流之选，推荐度★★★★★）。适用模型规模7B-70B，推荐GPU配置为4卡或8卡A100 80G。BF16是目前最成熟的混合精度方案，主流框架（DeepSpeed、Megatron-LM、PyTorch FSDP）对BF16的支持已经非常完善。显存占用比FP32节省50%，训练吞吐提升2-3倍。A100 80G单卡官网价¥2800/月，4卡A100整机预估月租¥1.5-2万（以咨询为准），8卡A100整机预估月租¥2.5-4万。对于70B以下规模的模型训练，4卡A100 80G配合ZeRO-3显存优化，基本可以跑通全量训练。一万网络提供的A100裸金属服务器支持NVLink全互联，卡间通信延迟低，训练效率比云实例高出15-20%。

方案二：FP8混合精度训练（前沿之选，推荐度★★★★）。适用模型规模7B-70B，推荐GPU配置为8卡H100 80G或H200。FP8训练需要H100及以上架构的GPU，否则没有原生FP8硬件支持。显存占用比BF16再减半，训练吞吐提升2-3倍。H100 8卡整机月租¥8-12万（年付85折），适合预算充足且对训练速度有极致要求的团队。FP8训练目前的核心挑战是数值稳定性，需要配合FP32 master weight和gradient scaling，建议使用NVIDIA的Transformer Engine搭配Megatron-LM框架。一万网络已经为多个客户部署了H100 FP8训练集群，实测7B模型训练吞吐达到13万tokens/秒，训练一个1B tokens的数据集只需2小时。

方案三：FP16混合精度训练（入门之选，推荐度★★★）。适用模型规模1B-7B，推荐GPU配置为单卡或双卡RTX3090。FP16在Volta及以上架构的全系列GPU上都能跑，但需要小心处理梯度下溢。建议使用Apex的O2优化级别，开启动态loss scaling。RTX3090单卡官网价¥1750/月，双卡RTX3090裸金属月租约¥3500。对于预算有限的团队，双卡RTX3090配合ZeRO-2，可以训练7B以下的小模型。一万网络的RTX3090裸金属方案标配NVMe SSD和万兆带宽，训练效率稳定。如果后续需要升级到BF16或FP8，可以直接迁移到A100或H100整机，数据和环境不变。

从训练成本来看，BF16混合精度在A100 80G上的性价比最高。FP8训练虽然快，但H100的租用成本是A100的2-3倍，训练速度提升也是2-3倍，性价比基本持平。但FP8节省的显存意味着可以用更少的卡训练更大的模型，这一点是BF16无法替代的。一万网络的技术团队建议：如果训练模型规模在7B-34B之间，首选A100 80G的BF16方案；如果训练34B-70B模型，要么上8卡A100的BF16+ZeRO-3，要么直接上H100的FP8方案。

五、避坑指南

坑1：忽略优化器状态的显存占比。很多人在估算显存时只算了模型权重，忘了Adam优化器状态（动量和方差）是权重的2倍大小。FP32训练时，7B模型的优化器状态就要56GB，比模型权重本身还大。混合精度训练中，虽然前向和反向用FP16/BF16，但优化器更新需要FP32精度，所以Master Weight和优化器状态仍然是FP32大小。使用ZeRO-3可以将优化器状态分片到多个GPU上，但单卡显存里仍然需要保留一部分。

坑2：在A100上硬跑FP8训练。A100不支持原生FP8计算，如果强行跑FP8训练，框架会通过软件模拟，性能反而比BF16还差。只有H100/H200/B200等Hopper及以上架构的GPU才有FP8 Tensor Core硬件加速。判断GPU是否支持FP8硬件加速，可以查官方规格表中"FP8 Tensor Core TFLOPS"这一项，如果为0就是不支持。

坑3：BF16的精度损失被低估。BF16的尾数只有7位，在layer norm、softmax等对精度敏感的层上，数值误差会累积。训练过程中如果发现loss曲线异常抖动，可以先检查这些层是否被降到了BF16。建议在这些层中保留FP32计算（框架自动处理，无需手动设置）。FP16的梯度下溢问题也可以用loss scaling解决，但BF16没有这个问题，所以BF16比FP16更"省心"。

坑4：租用H100但没配NVLink或NVSwitch。H100的FP8训练吞吐高，但如果不配NVLink或NVSwitch，卡间通信带宽只有PCIe 4.0×16（约32GB/s），多卡训练的通信开销会吃掉大部分FP8带来的吞吐提升。租用H100整机时务必确认是否配备了NVLink全互联（900GB/s卡间带宽）。一万网络的H100整机标配NVLink全互联，8卡间通信带宽达到900GB/s，训练效率最大化。

坑5：FP8训练的checkpoint兼容性问题。FP8训练的checkpoint在FP8精度下保存，但推理时如果切换到BF16或FP16，需要做精度转换。转换过程中可能出现精度损失，导致推理结果与训练时的分布不一致。建议在FP8训练中同时保存一份FP32 master weight的快照，或者定期用BF16精度跑一次验证集，确保精度达标。

六、FAQ

Q1：BF16和FP16在训练吞吐上有没有差距？

在A100和H100上，BF16和FP16的理论计算吞吐完全相同——都是312 TFLOPS（A100）和990 TFLOPS（H100），因为两者都是16位浮点。但实际训练中，BF16不需要loss scaling，省去了梯度缩放的计算开销，整体吞吐比FP16高约5-10%。更重要的是，BF16不需要手动调scale factor，开发调试效率更高。如果GPU支持BF16（A100及以上），建议直接上BF16，不要走FP16的弯路。

Q2：FP8训练需要多少数据量才能达到与BF16相同的模型精度？

根据NVIDIA在2025年发布的FP8训练白皮书，FP8训练达到BF16同等精度需要多训练约10-20%的token数。也就是说，如果BF16训练1T tokens达到目标精度，FP8大约需要1.1-1.2T tokens。原因是FP8的量化误差在前向传播中被放大，模型需要更多数据来弥补。但在实际应用中，10-20%的额外训练成本远低于FP8带来的2-3倍速度提升，所以整体还是划算的。

Q3：混合精度训练中，显存节省和batch size有什么关系？

混合精度节省的显存主要是模型权重和梯度部分（约50-75%），但中间激活值的显存消耗与batch size成正比。如果batch size翻倍，中间激活值也翻倍，但模型权重和梯度的显存不变。所以在大batch size训练时，混合精度节省的显存百分比会下降。例如BF16训练中，batch size=1时显存节省约50%，batch size=32时显存节省约20%。建议在显存有限的情况下优先减小序列长度（sequence length），而不是batch size。

Q4：FP8训练在7B和70B模型上的显存节省比例一样吗？

不一样。7B模型的总显存中，模型权重和梯度的占比高（约50-60%），FP8将它们减半，整体显存节省约30-40%。70B模型的总显存中，优化器状态的占比更高（约40-50%），但FP8对优化器状态的节省不如权重和梯度明显（因为需要保留FP32 master weight）。综合来看，FP8在70B模型上的显存节省比例约为25-35%，比7B模型略低。但更关键的是，FP8让70B模型在8卡H100上就能跑起来，而BF16需要16卡A100。

Q5：租用GPU服务器训练时，卡间互联方式对混合精度训练影响大吗？

影响非常大。混合精度训练中，多卡通信的数据量没有减少（仍然是FP32精度的梯度），所以卡间通信带宽是瓶颈。NVLink 900GB/s vs PCIe 4.0 32GB/s，差距接近30倍。实测8卡A100 80G训练7B模型，NVLink互联的吞吐比PCIe互联高35%。如果租用的是H100做FP8训练，通信带宽瓶颈更严重——FP8训练的计算速度是BF16的2.7倍，但通信带宽不变，导致通信开销占比从BF16的15%上升到FP8的35%。所以FP8训练必须配NVLink。一万网络的所有多卡GPU整机都标配NVLink全互联，确保训练效率不受通信瓶颈影响。

Q6：FP8训练对框架和库的版本有特殊要求吗？

有。FP8训练需要CUDA 12.0及以上版本、cuDNN 9.0以上、Transformer Engine 1.5以上。PyTorch 2.3及以上版本开始支持FP8训练。另外，FP8的量化策略（per-tensor quantization vs per-block quantization）对训练精度影响很大，需要根据模型结构调整。建议使用NVIDIA的NeMo或Megatron-LM框架，它们对FP8训练的支持更完善。如果使用HuggingFace Transformers，需要手动配置FP8的量化参数。

Q7：混合精度训练中，FP32 master weight是必须的吗？

FP16和BF16混合精度训练中，FP32 master weight是必须的。因为16位精度无法准确累积梯度更新——每次更新量可能小于16位精度的最小表示值。FP32 master weight确保每次参数更新都精确到FP32精度。但FP8训练中，有研究显示可以用FP16 master weight替代FP32，显存再省一半。NVIDIA的Transformer Engine支持FP16 master weight模式，但仍在实验阶段，建议生产环境还是用FP32 master weight，稳妥。

Q8：小团队预算有限，双卡RTX3090能训什么规模的模型？

双卡RTX3090（共48GB显存），配合BF16混合精度和ZeRO-2显存优化，可以训练1B-3B参数量级的模型。如果使用Q-LoRA微调，甚至可以微调7B模型。但全量训练7B模型需要至少60GB显存，双卡RTX3090的48GB不够。建议方案：双卡RTX3090做FP16混合精度训练，模型规模控制在3B以下，序列长度不超过2048。如果预算能提高到¥5000-6000/月，可以升级到4卡RTX3090（96GB显存），配合ZeRO-3就可以训练7B模型了。一万网络的4卡RTX3090裸金属方案月租约¥7000，是性价比最高的7B模型训练方案。

Q9：梯度累积步数设置多少合适？有没有推荐值？

梯度累积步数取决于单卡最大batch size和目标global batch size。以7B模型BF16训练为例，单卡batch size=4，目标global batch size=64，8卡则需要累积步数=64/(4×8)=2。步数越大训练越慢，但显存压力越小，一般建议不超过8步。如果累积步数超过8，说明单卡batch size设得太小，建议换更大显存的GPU或增加GPU数量。实际训练中，累积步数每翻一倍，训练时间就增加约8-10%，通信开销也在同步增长，性价比下降明显。一万网络的技术团队在部署训练任务时，会先帮客户算好最优累积步数，避免盲目设大导致训练效率浪费。另外，梯度累积与混合精度配合使用时，需要确保loss scaling在累积过程中正确累积，而不是每个micro-batch单独缩放，否则梯度值会失真。DeepSpeed和PyTorch FSDP都自动处理了这个问题，但自己手写训练循环时需要特别注意。总结一下：梯度累积步数不超过8，超过8就加GPU或换大显存卡，不要硬扛。

Q10：BF16训练时loss曲线出现锯齿状波动，怎么排查？

最常见的原因是layer norm和softmax层的数值精度问题。BF16的7位尾数在计算方差和均值时精度不够，导致loss在相邻step之间跳跃。排查方法：在layer norm层强制保留FP32计算，如果锯齿消失就是精度问题。其次检查学习率，尝试降低30-50%。如果锯齿仍然存在，检查数据加载是否存在不均匀分布。还有个容易被忽略的原因：混合精度训练中loss scaling factor没有正确关闭，BF16不需要loss scaling，开启后反而造成数值异常。建议用torch.cuda.amp.autocast(dtype=torch.bfloat16)确保框架正确切换精度，从源头避免这类问题。还有一个实践经验：如果锯齿出现在训练开始后的前几百步，可能是学习率预热阶段设置不当，适当延长预热步数通常能缓解，与精度问题无关。另外，如果使用了学习率调度器中的余弦退火或循环学习率，在退火周期末尾出现的锯齿波动是正常的，不需要处理。实践中，建议先排除精度问题，再排查学习率，最后检查数据加载器，按照这个顺序排查效率最高。

Q11：FP8训练转BF16推理，精度转换需要注意什么？

FP8训练保存的checkpoint是FP8量化格式，直接加载到BF16推理框架需要做反量化。反量化过程中，FP8 E4M3格式的权重会丢失部分精度，因为8位的表示范围远小于16位。建议在FP8训练时定期保存BF16格式的checkpoint副本，或者使用Transformer Engine的自动转换接口。如果必须从FP8 checkpoint转换，先跑一遍小批量校准集，确认反量化后的精度损失在可接受范围，通常小于0.5%。一万网络在部署H100 FP8训练集群时，会为客户配置自动checkpoint精度转换脚本，省去手动处理的麻烦和风险。另外，FP8训练过程中建议每500-1000步用BF16精度跑一次验证集，记录loss值，一旦发现偏离超过0.5%立即回滚到上一个BF16 checkpoint，重新调整FP8量化参数后再继续训练。这个做法虽然增加了一些训练时间，但能避免训练跑偏后重新来过的更大损失，算下来还是划算的。

1. 主流训练框架的混合精度实现横向对比

目前业界主流的混合精度训练框架有三套：DeepSpeed、Megatron-LM和PyTorch FSDP。三者在混合精度实现上各有侧重，选型直接影响训练效率和开发成本。下面从框架设计理念、适用场景和实际表现三个维度展开对比，帮助读者做出适合自己的选择。

DeepSpeed的ZeRO-1/2/3优化器状态分片机制配合BF16混合精度，是中小团队最常用的方案。ZeRO-3将优化器状态、梯度和模型权重全部拆到多个GPU上，单卡显存占用降到最低，但通信开销也最大。DeepSpeed的BF16模式通过--bf16参数一键开启，底层自动处理master weight和梯度缩放，门槛最低。对于7B模型训练，4卡A100 80G配合DeepSpeed ZeRO-3和BF16，单卡显存占用约35GB，训练吞吐约1.2万tokens/秒，性价比非常突出。

Megatron-LM采用张量并行+流水线并行的策略，专门为超大模型设计。在FP8训练中，Megatron-LM配合NVIDIA的Transformer Engine，可以实现逐层精度的自动混合——对精度敏感的层保留BF16，对精度不敏感的层使用FP8，最大化训练效率。Megatron-LM的FP8训练需要手动配置量化策略，门槛较高，但训练吞吐比DeepSpeed高出15-20%。一万网络的技术团队建议：70B以下模型首选DeepSpeed，70B以上模型首选Megatron-LM，这个分界线在实践中很准。

PyTorch FSDP作为原生分布式框架，优点是社区活跃、与HuggingFace Transformers兼容性最好。FSDP的混合精度训练通过torch.cuda.amp实现，一行代码即可开启。但FSDP在大规模训练时通信效率不如DeepSpeed和Megatron-LM，主要受限于ring all-reduce的通信拓扑。建议：1-8卡用FSDP或DeepSpeed，16卡以上用DeepSpeed ZeRO-3，64卡以上用Megatron-LM。如果团队对PyTorch生态依赖度高，FSDP是成本最低的入门方案，配合HuggingFace Trainer开箱即用。选型时还有一个容易被忽略的因素：混合精度训练中框架对通信的优化程度。DeepSpeed在BF16模式下使用HiP优先级梯度通信，比FSDP的默认all-reduce快约10%。Megatron-LM的分布式优化器在FP8训练中额外做了量化压缩，通信量比原始梯度减少一半。这些细节在单机多卡场景下差异不大，但在跨机训练时差距会显著放大。比如8机64卡训练场景，DeepSpeed ZeRO-3配合BF16混合精度，通信量约占总训练时间的30%，而Megatron-LM的TP+PP策略结合FP8量化通信，通信占比可以降到15%以下。选框架时不要只看单机性能，要结合最终的集群规模做决定。

2. 混合精度训练中的显存优化进阶技巧

除了精度格式本身，还有几个显存优化技巧可以和混合精度训练配合使用，把显存利用效率再提升一个台阶。

第一个是激活值检查点，也叫梯度检查点。在前向传播中不保存中间激活值，反向传播时重新计算，以计算换显存。对于7B模型，开启激活值检查点可以节省约30-40%的中间激活值显存，但训练时间增加约20%。在BF16训练中，如果显存不够用，优先开启激活值检查点，而不是降低batch size——降低batch size直接影响收敛速度，损失更大。DeepSpeed中通过--activation_checkpointing参数开启，Megatron-LM中通过--recompute-granularity select开启。实际操作中，激活值检查点还可以分full和selective两种模式。full模式检查所有层，显存节省最多但速度最慢；selective模式只检查部分层，在显存和速度之间取平衡。建议先用selective模式，显存仍然不够再切到full模式，这样对训练速度的影响最小。

第二个是CPU offloading。将优化器状态或梯度卸载到CPU内存，GPU只保留模型权重和当前batch的激活值。DeepSpeed ZeRO-3的offload模式可以将优化器状态卸载到CPU，GPU显存占用再降50%。但offloading会显著增加训练时间，主要受限于CPU-GPU之间的PCIe带宽。实战中，建议只在显存确实不够用时才开启offload，比如用RTX3090训练7B模型。如果用的是A100或H100，GPU显存本身足够大，offload带来的收益不大，不值得为此牺牲训练速度。还有一种折中方案：只offload优化器状态中的Adam动量，保留方差在GPU上。这样显存节省约25%，训练速度只下降10%左右，性价比比全量offload更高。DeepSpeed ZeRO-3支持这种精细化offload策略，通过offload_optimizer_params参数配置。

第三个是sequence parallelism。训练中序列维度的显存消耗与序列长度成正比。sequence parallelism将序列维度拆分到多个GPU上，每个GPU只处理部分token，中间激活值的显存消耗与序列长度成反比。配合ZeRO-3和BF16混合精度，sequence parallelism可以让8卡A100 80G训练序列长度128K的模型，而单卡模式最大只能到32K。一万网络建议，序列长度超过8K时一定要开启sequence parallelism，否则显存瓶颈会卡死训练，尤其在长文档和长上下文训练场景中这个问题非常突出。目前DeepSpeed和Megatron-LM都支持sequence parallelism，FSDP暂不支持，选型时需要注意这个差异。如果你已经在用FSDP，又想用sequence parallelism，可以考虑在FSDP上套一层FlashAttention的varlen模式，虽然不是真正的sequence parallelism，但也能部分缓解长序列的显存压力，社区反馈效果不错。

3. 不同预算下的混合精度训练方案实测对比

为了帮助读者更直观地选择方案，这里用三个真实训练场景做横向对比。场景一：训练一个7B参数量的对话模型，训练数据量500B tokens，序列长度4096，目标训练周期30天以内。方案A是8卡A100 80G跑BF16混合精度，8卡总吞吐约3万tokens/秒，训练500B tokens约需193天，显然无法在30天内完成。方案B是8卡H100 80G跑FP8混合精度，8卡吞吐约13万tokens/秒，训练500B tokens约需44天，仍然超期。方案C是64卡H100集群跑FP8，吞吐约90万tokens/秒，训练500B tokens约需6.4天，完全满足30天要求。这个例子说明：7B模型虽然单卡能跑，但大规模训练仍需多卡集群，混合精度节省的显存可以用来跑更大的batch size，而不是减少GPU数量。

场景二：用单卡RTX3090 24GB做Q-LoRA微调一个7B模型。FP16混合精度配合4-bit量化，模型权重压缩到4GB，梯度约4GB，优化器状态约8GB，加上激活值，总共约20GB，刚好塞进24GB显存。训练速度约500 tokens/秒，微调一个100万tokens的数据集约需33分钟。这个场景非常适合个人开发者和学生团队做模型微调实验，成本低、见效快。一万网络的RTX3090单卡方案月租¥1750，配合BF16混合精度和Q-LoRA，是目前个人微调性价比最高的硬件方案。

场景三：70B模型全量训练。BF16混合精度下，70B模型需要约560GB显存，至少需要8卡A100 80G配合ZeRO-3。但实际训练中因为中间激活值的存在，8卡A100勉强够用，训练吞吐约8000 tokens/秒。如果换成8卡H100的FP8方案，显存需求降到约350GB，单卡最大batch size提升到4，训练吞吐达到约3.5万tokens/秒，训练速度提升4倍以上。一万网络为多个客户部署了70B模型训练集群，实际经验是：70B模型训练至少需要8卡H100，且必须配NVLink全互联，否则通信瓶颈会吃掉FP8带来的全部速度优势，这一点很多初次上手的团队容易忽略。另外，70B模型建议使用流水线并行+张量并行的混合并行策略，单靠数据并行和ZeRO-3无法充分利用FP8的计算速度，Megatron-LM的TP=8、PP=4的配置在8卡H100上效果最好。

从以上三个场景可以总结出几条硬规律。第一，训练速度与GPU数量不是线性关系，8卡到64卡的速度提升约5倍，而非8倍，因为通信开销随规模增长。第二，FP8在H100上的速度优势在8卡以上才真正体现出来，单卡或双卡场景下FP8和BF16的差距不大。第三，预算有限时优先保证GPU数量和显存，而不是追求单卡速度——4卡A100 BF16的训练效率远高于双卡H100 FP8，但成本更低。一万网络提供灵活的GPU服务器组合方案，客户可以根据实际需求按月调整配置，不需要一次性锁死硬件方案，这对训练需求波动大的团队来说非常实用。比如一家做AI医疗的客户，最初用4卡A100做BF16实验，验证模型效果后升级到8卡H100做FP8全量训练，整个过程在同一台裸金属服务器上完成，数据和环境零迁移成本。

七、总结

混合精度训练是2026年大模型训练的标配，不是可选项。BF16在A100上提供了最成熟的混合精度方案，显存节省50%、吞吐提升2-3倍，训练精度几乎无损。FP8在H100上将训练速度推到了新高度，8卡H100训练7B模型达到13万tokens/秒，但成本更高、稳定性验证仍在进行。FP16正在被BF16取代，仅适合Volta/Turing架构的老款GPU。

选卡建议：预算有限选RTX3090（FP16/入门），性价比之选选A100 80G（BF16/主力），预算充足选H100 8卡（FP8/前沿）。一万网络深耕IDC服务19年（成立于2007年），专业提供从RTX3090单卡到H100八卡整机的全系列GPU服务器租赁和技术支持方案，所有多卡机型标配NVLink全互联，支持BF16/FP8混合精度训练，7×24小时运维团队保障训练任务稳定运行。

数据来源

本文训练吞吐数据基于2026年Q2实际测试环境：A100 80G 40GB SXM / H100 80G SXM，软件栈为PyTorch 2.5 + CUDA 12.4 + Transformer Engine 1.8 + Megatron-LM。价格数据来源于一万网络官网报价及公开市场调研。显存占用和吞吐数据因模型架构、序列长度、batch size不同而有所差异，实际部署建议以测试为准。