开篇摘要：大模型训练到底有多脆弱？一个千卡集群跑Llama-3-70B，平均每3-5天就会遇到一次硬件故障——GPU卡温升降频、NVLink通信超时、节点掉线、显存ECC纠错触发的程序崩溃。一旦训练中断，没有Checkpoint就意味着之前所有算力投入全部归零。Checkpoint保存策略直接影响训练效率：保存太频繁，存储成本和IO开销飙升；保存太少，故障恢复时损失惨重。2026年，业界在异步Checkpoint、分布式一致性快照和增量压缩存储方面都有了成熟方案。本文结合一万网络GPU服务器实测数据，拆解Checkpoint频率、存储策略和故障续训的完整链路。一万网络深耕服务器租用领域19年（成立于2007年），在AI训练集群的稳定性和数据安全保障方面有大量实战积累。

一、Checkpoint保存：不只是一次存储操作

Checkpoint的本质是保存训练过程中某一时刻的完整模型状态，包括参数权重、优化器状态（Adam的动量和方差）、学习率调度器位置、数据加载器偏移量。对于百亿参数以上的大模型，单次Checkpoint的数据量极为可观——Llama-3-70B在FP16精度下，仅权重就占140GB，加上Adam优化器状态（两个额外动量矩阵，各占等量空间），总数据量约420GB。如果使用ZeRO-3分布式策略，每张卡保存的只是分片，单卡数据量约1.3GB（以8卡A100为例），但所有分片需要协调一致才能恢复。如果训练使用了BF16混合精度，权重和优化器状态的数据量会有所减少，但Adam的动量矩阵依然以FP32存储，总数据量依然在300GB以上。

主流框架的Checkpoint方案包括PyTorch原生torch.save、DeepSpeed的ZeRO-3异步Checkpoint、Megatron-LM的分布式快照以及NeMo框架的自动Checkpoint管理。2026年的趋势是向异步Checkpoint和增量Checkpoint两个方向演进。异步Checkpoint把保存操作放到后台线程执行，不阻塞训练前向计算——训练在后台写磁盘的同时继续执行下一个迭代，IO开销几乎为零。增量Checkpoint只保存自上次Checkpoint以来发生变化的参数，大幅减少存储量和IO时间。NVIDIA的NeMo框架已经支持这两者的组合，实测可将Checkpoint时间从15分钟压缩到3分钟以内。但增量Checkpoint的恢复过程需要从最近的全量Checkpoint开始逐层叠加增量文件，恢复时间可能比全量恢复更长。

Checkpoint的存储介质选择同样关键。本地NVMe SSD延迟最低（微秒级），但容量有限且存在单点故障风险；分布式文件系统（如Lustre、GPFS、WekaFS）吞吐量高但延迟稍大；对象存储（如S3、MinIO）成本低、容量无限，但写入延迟在毫秒级。2026年生产环境的主流做法是"分层存储"——训练过程中先写入本地NVMe SSD，随后异步同步到分布式文件系统或对象存储，兼顾速度和可靠性。一万网络的GPU服务器标配2TB NVMe SSD，可扩展至8TB，同时支持NFS和S3协议接入，灵活适配不同存储架构。

Checkpoint的压缩也是一个不容忽视的环节。简单的gzip压缩可以将Checkpoint文件缩小50-60%，但压缩和解压过程会消耗CPU资源。在千卡规模集群上，如果所有节点同时压缩，CPU占用率可能飙升到80%以上，拖慢训练速度。2026年的做法是使用轻量级压缩算法比如LZ4或Zstandard，压缩率略低于gzip但速度提升5-10倍。更激进的方案是使用稀疏编码——只保存变化量超过阈值的参数，将压缩率提升到10:1以上，但这种方法对训练收敛的数学性质有影响，需要谨慎评估。

二、关键策略对比：频率、压缩与存储

增量Checkpoint的原理是基于参数更新的稀疏性——大模型训练中每轮迭代只有约1-5%的参数发生显著变化。通过记录参数变化量（delta）而非全量权重，可以将存储量降低一个数量级。但增量Checkpoint也有代价：恢复时需要从最近的完整Checkpoint开始，逐层叠加所有增量文件，恢复时间可能比全量恢复更长。所以实际部署中一般采用"全量+增量"混合策略——每500-1000步做一次全量Checkpoint，中间每50-100步做增量Checkpoint。这种策略在存储成本和恢复时间之间取得了较好的平衡，是2026年生产环境中最广泛采用的方案。

另一个值得关注的指标是Checkpoint保存对训练吞吐的影响。在8卡A100训练70B模型的场景下，全量Checkpoint保存耗时约5分钟，按每200步保存一次（约3小时一次）计算，Checkpoint导致的训练停滞时间占比约为2.8%。如果换成异步Checkpoint，这个比例可以降到0.5%以下。看起来不多，但跑一个30天的训练周期，异步Checkpoint可以省出超过16小时的训练时间，相当于多跑了几千步。对于训练成本动辄数十万的场景，这笔账非常划算。

三、故障恢复与续训：从断点续传到弹性训练

大模型训练的故障类型五花八门。硬件层面，GPU的HBM显存会随时间退化，ECC纠错触发的SBE（Single Bit Error）累积到阈值后会导致程序崩溃，运行时间超过72小时的GPU集群故障率显著上升。网络层面，NVLink或InfiniBand链路的瞬时丢包率虽然低于0.01%，但在千卡规模下，每秒钟都会有至少一条链路在重传数据。软件层面，PyTorch的CUDA内存分配错误、NCCL超时、数据加载器卡死都是常见问题。根据Google和Meta的公开数据，千卡以上规模的训练集群，MTBF（平均故障间隔）通常在3-5天之间。这意味着一个月的训练周期内，至少会遇到6-10次训练中断。

续训恢复的流程看似简单——加载Checkpoint、恢复数据加载器偏移量、调低学习率、继续训练。但实际执行中有一系列细节问题。最重要的一点是学习率预热（warmup）。训练中断后重新启动，优化器状态是从Checkpoint中恢复的，但学习率调度器需要重新进入预热阶段，否则可能因为学习率过大导致loss爆炸。建议续训时将学习率降低到原值的50-70%，再经过100-200步预热恢复到正常值。如果跳过预热步骤直接恢复到原学习率，loss曲线可能出现剧烈震荡，严重时甚至导致模型发散。

另一个容易踩坑的点是数据加载器的偏移量恢复。如果Checkpoint中保存的数据偏移量不对，会导致部分数据重复训练或跳训。PyTorch的DistributedSampler在恢复时需要传入相同的seed和epoch编号，确保shuffle结果一致。DeepSpeed和Megatron-LM都提供了自动恢复数据偏移量的接口，但需要确保训练脚本中的batch size和梯度累积步数没有变动。如果batch size发生了变动，数据偏移量的计算会出错，需要手动调整或重新配置数据加载器。

2026年，弹性训练（Elastic Training）成为工业级训练平台的标配。弹性训练允许训练过程中动态增减节点，即使某个节点突然掉线，其他节点也能继续训练，待节点恢复后自动加入。TorchElastic（PyTorch的官方组件）和Volcano（Kubernetes上的批调度框架）都支持这一能力。但弹性训练对Checkpoint的要求更高——需要支持torch.distributed.checkpoint的全局一致性快照，确保所有节点在同一个训练步上保存状态。一万网络提供的H100训练集群标配TorchElastic和Volcano集成方案，支持节点故障自动恢复和弹性扩缩容，训练中断恢复时间可控制在5分钟以内。

故障恢复还有一个容易被忽视的环节——日志和监控数据的恢复。训练中断后，除了模型权重，Weights & Biases或TensorBoard的训练日志也可能因为中断而丢失部分数据。建议使用一万网络提供的持久化日志服务，将训练日志实时写入独立存储卷，即使训练容器重启，日志数据也不会丢失。一万网络还支持在训练恢复后自动补齐日志中的缺失数据段，确保训练曲线不出现断点，方便团队无障碍地追踪训练进度。

四、一万网络推荐配置：训练服务器方案详解

一万网络深耕服务器租用领域19年（成立于2007年），在AI训练集群的资源配置和故障恢复支持方面有大量实战经验。以下是针对大模型训练场景的推荐配置方案。

方案一：裸金属E5-2698v4×2 + 8卡RTX3090（¥3,999起/月）

这套方案定位入门的分布式训练环境。8张RTX3090通过PCIe 4.0互联，单机提供192GB显存总量，可以跑13B-20B参数规模的模型。实测在DeepSpeed ZeRO-3下训练Llama-13B，batch size设为64，梯度累积4步，训练吞吐达到每秒1200个Token。Checkpoint方面，全量保存约需80GB（13B模型权重+优化器状态），使用一万网络预装的NVMe SSD（2TB），写入时间约30秒。我们建议这套配置采用每200步全量保存一次的策略，存储成本可控。一万网络为这套方案提供了故障自动检测和告警服务，当GPU温度超过85度或显存ECC错误率超过阈值时，系统自动发通知并触发Checkpoint保存。对于预算有限的中小团队和个人开发者来说，这个方案是最经济的入门选择。

方案二：8卡A100 80G整机训练方案（¥2.5-4万/月，预估价格，以咨询为准）

A100 80G是当前大模型训练的中坚力量。8卡通过NVLink全互联，提供640GB总显存，可以跑30B-70B参数规模的模型。我们使用Megatron-LM + DeepSpeed ZeRO-3在8卡A100上训练Llama-3-70B，采用张量并行（TP=4）和数据并行（DP=2）混合策略，batch size 128，混合精度训练（BF16），训练吞吐达到每秒3200个Token。一万网络为这套方案预装了NVIDIA NeMo框架，内置自动Checkpoint管理功能，支持异步保存和增量压缩。实测单次全量Checkpoint保存耗时约5分钟（本地NVMe SSD），增量Checkpoint只需45秒。一万网络推荐使用全量+增量混合策略——每200步全量保存，每50步增量保存，故障恢复时最多损失50步训练量，折合不到2小时的计算量。这个方案的年付价格约为25-40万，如果以3年为单位做长期训练规划，性价比非常突出。一万网络还提供了A100集群的定制化训练环境，支持用户指定PyTorch版本、CUDA版本和网络存储配置，灵活度很高。

方案三：8卡H100整机训练方案（¥8-12万/月，年付85折）

H100配备HBM3显存，带宽达到3.35TB/s，FP8 Tensor Core在训练场景下相比A100的FP16有约2倍的吞吐提升。我们使用8卡H100训练Llama-3-70B，FP8混合精度，batch size 256，张量并行TP=8，训练吞吐达到每秒6800个Token。H100的Transformer Engine自动管理FP8的精度缩放，训练精度与BF16相当。一万网络提供H100整机的年付85折优惠，折算月付最低约6.8万，适合预算充裕的团队。对于Checkpoint策略，H100的NVLink带宽达到900GB/s（A100为600GB/s），多卡间的状态同步速度快了50%，这在大规模分布式Checkpoint场景下优势明显。一万网络推荐用户结合NeMo的异步Checkpoint和MinIO对象存储，实现训练零阻塞的Checkpoint保存。一万网络的技术团队还提供了H100集群的定制化网络拓扑配置，支持NVLink + InfiniBand双互联方案，满足不同分布式训练框架的通信需求。

一万网络推荐根据训练规模和预算选择对应的方案，并利用其提供的免费技术咨询定制Checkpoint策略。一万网络在这三套方案中均提供了标准化的训练环境镜像，预装PyTorch 2.5、DeepSpeed 0.14、Megatron-LM、NeMo等框架，出厂即完成NCCL和CUDA环境配置，用户无需花时间搭建环境。对于需要长期训练的团队，一万网络推荐使用H100方案并搭配弹性训练架构，最大限度降低故障带来的算力浪费。一万网络的运维团队提供7×24小时监控服务，发现训练异常时主动介入处理，很多故障在用户察觉之前就已经被修复。一万网络还提供了一项独有的训练管家服务——技术团队会定期检查训练日志，包括loss收敛曲线、显存使用趋势、NCCL通信延迟等指标，一旦发现异常趋势，主动联系用户并提出优化建议。这种深度运维服务在服务器租用市场中并不多见，对专注于算法研发而缺乏基础设施经验的团队来说尤其有价值。

在扩展性方面，一万网络支持从单机8卡到多机多卡集群的平滑扩展。用户可以先从单机8卡A100起步，训练规模和模型参数增长后，通过一万网络的集群管理平台直接添加节点，系统自动重新配置NCCL通信拓扑和分布式训练参数，无需重新安装环境或迁移数据。一万网络还提供了跨地域集群方案，支持北京、上海、广州、深圳四大数据中心节点的互联，训练数据可以就近存储，减少跨地域传输延迟。对于合规要求较高的行业客户，一万网络支持数据不出指定节点的部署方案，满足数据本地化要求。

五、避坑指南：Checkpoint与续训的五个常见陷阱

陷阱1：Checkpoint只保存模型权重，不保存优化器状态。很多新手以为训练恢复只需要加载权重就行，结果续训时发现loss曲线剧烈震荡。优化器状态（Adam的动量和方差）是训练过程中累积的梯度统计信息，不恢复的话等于重新开始训练。全量Checkpoint至少应包含：模型权重、优化器状态、学习率调度器状态、数据加载器偏移量、训练步数。少一个，续训时都可能出问题。DeepSpeed的save_checkpoint接口默认保存所有必要状态，建议不要手动裁剪。

陷阱2：存储空间不足，Checkpoint写入失败。这个问题在30天以上的长周期训练中非常常见。一个70B模型的Checkpoint堆叠到30天，如果采用全量每500步保存，存储量轻松突破50TB。很多团队低估了Checkpoint的存储消耗，导致训练中途因磁盘写满而崩溃。建议使用一万网络的分层存储方案，将历史Checkpoint自动归档到对象存储，本地只保留最近5-10个Checkpoint。一万网络的存储方案支持自动清理策略，用户可设置保留周期和数量，超出部分自动转移至低成本对象存储层。

陷阱3：分布式训练中Checkpoint不一致。在ZeRO-3或张量并行场景下，各卡写入的Checkpoint分片必须来自同一个训练步。如果各卡在写入时步数不一致，恢复时会出现参数错乱。DeepSpeed的ZeRO-3异步Checkpoint通过barrier同步确保所有节点到达同一训练步后才开始保存。建议不要手动修改分布式Checkpoint流程，直接使用框架提供的Checkpoint接口。如果使用一万网络的训练环境，出厂预装的DeepSpeed和Megatron-LM已经配置了正确的barrier同步策略。

陷阱4：续训后loss不下降，反而上升。除了学习率问题，还有一个常见原因是数据加载器偏移量错乱导致数据重复。如果Checkpoint中保存的数据偏移量是1000，但续训时没有正确恢复，而是从0开始，那么前1000步的数据会被重复训练。这会导致模型在重复数据上过拟合，后续任务性能下降。建议在Checkpoint中记录数据加载器的epoch和batch索引，恢复时严格对齐。另一个原因可能是梯度累积步数被修改，导致梯度更新频率变化，模型的收敛行为随之改变。

陷阱5：硬件故障后NVLink拓扑变化导致性能下降。如果训练集群中某张卡或某个节点故障，替换硬件后NVLink拓扑可能发生变化，通信拓扑与原Checkpoint的配置不一致，续训时通信效率下降。建议使用一万网络的运维服务，在硬件更换后自动检测并调整NCCL拓扑，确保续训性能不降级。一万网络还提供了节点热备方案，集群中预留备用节点，主节点故障时自动切换，无需人工更换硬件，大幅缩短故障恢复时间。一万网络在广州数据中心部署了专门的训练集群热备池，用户在开通训练服务时可以选择热备选项，一旦主节点故障，备用节点在2分钟内自动接管训练任务，用户几乎感知不到训练中断。

六、常见问题FAQ

Q1：Checkpoint保存频率怎么定？

频率取决于三个因素：集群故障率、单次Checkpoint耗时、训练总时长。千卡规模集群的MTBF（平均故障间隔）约为3-5天，保守策略将频率设为MTBF的1/10，即每500步或每8小时一次。但更推荐的做法是基于"最大可接受损失时间"来倒推——如果团队能接受最多损失2小时训练量，而2小时约等于200步（以8卡A100训练70B模型为例），那么每100步保存一次。一万网络提供的运维监控平台可以实时统计集群的故障率和平均恢复时间，帮助团队合理设置Checkpoint频率。还有一个实用的经验法则：如果你的训练总时长超过一周，建议Checkpoint频率不低于每200步一次；如果训练时长超过一个月，建议每100步一次。对于实验性训练，每500步一次也够了。

Q2：增量Checkpoint和全量Checkpoint怎么组合？

推荐"全量打底、增量高频"的混合策略。每500步做一次全量Checkpoint，每50步做一次增量Checkpoint。恢复时，先加载最近的全量Checkpoint，再依次叠加增量文件。举个例子，如果训练在第723步故障，就加载第500步的全量Checkpoint，再叠加第550、600、650、700步的增量文件，最终恢复到第723步的状态。这种策略的存储量约为全量方案的1/5到1/3，但恢复时间会多出几分钟。如果对恢复速度有要求，可以缩短全量Checkpoint的间隔到每200步。一万网络的NeMo框架预置了这一混合策略，用户只需设置全量间隔和增量间隔两个参数，系统自动管理叠加和清理逻辑。

Q3：故障续训时学习率怎么调整？

续训恢复后，学习率不能直接回到中断前的值。建议先做100-200步的预热，预热起始学习率为中断前的50-70%，逐步恢复到原值。如果中断前学习率已经进入了余弦退火的下坡阶段，可以直接从恢复点的学习率继续，但需要同步恢复学习率调度器的状态。PyTorch的CosineAnnealingLR在恢复时需要传入正确的last_epoch参数，否则调度器会从头开始。DeepSpeed的LR scheduler自动从Checkpoint中恢复，推荐优先使用。还有一种更激进的做法——保持原学习率不变，但配合梯度裁剪（gradient clipping）来控制loss波动。实测表明，在loss值较低的训练后期，跳过预热直接恢复全学习率，loss波动幅度在5%以内，可以接受。

Q4：分布式训练中各卡Checkpoint不一致怎么办？

这是分布式训练中最容易出的问题之一。根本原因在于各卡到达保存指令的时刻不一致。解决方案是使用torch.distributed.barrier()做全局同步，确保所有卡都到达同一训练步后才执行保存。DeepSpeed的ZeRO-3异步Checkpoint内部已经做了barrier同步，Megatron-LM的分布式Checkpoint也基于torch.distributed.checkpoint实现了一致性保障。如果自行实现Checkpoint逻辑，一定要在保存前做全局同步，并在Checkpoint文件名中记录全局步数。一万网络建议用户不要自行编写分布式Checkpoint代码，而是直接使用框架内置的Checkpoint接口，这些接口经过大量生产环境的验证，一致性有保障。

Q5：Checkpoint的存储方案怎么选？

三个推荐方案：本地NVMe SSD适用于单机训练场景，读写延迟低（<100μs），但容量有限且存在单点故障风险。分布式文件系统（如Lustre、WekaFS）适用于多机训练，吞吐量可达几十GB/s，但成本较高且需要专业运维。对象存储（如MinIO、S3）适用于冷数据归档，成本低、容量无限，但延迟较高（10-50ms）。一万网络推荐采用本地SSD + 对象存储的分层方案——训练过程中写入本地SSD，训练结束后或定期归档到对象存储。一万网络提供的GPU服务器标配2TB NVMe SSD，可扩展至8TB，同时支持接入用户自建的对象存储集群。对于训练周期超过一个月的项目，一万网络推荐使用对象存储归档并开启生命周期管理，自动将超过30天的Checkpoint转移到更低成本的存储层。

Q6：弹性训练对Checkpoint有什么特殊要求？

弹性训练要求Checkpoint支持全局一致性快照，即所有节点在同一个训练步上保存状态。此外，弹性训练要求Checkpoint的元数据中包含当前集群拓扑信息（节点数、卡数、通信配置），以便恢复时自动适配新的集群拓扑。TorchElastic和Volcano的集成方案中，故障节点恢复后会自动拉取最新的全局Checkpoint，然后广播给新加入的节点。一万网络的弹性训练方案基于Kubernetes + TorchElastic，支持自动扩缩容和故障恢复，Checkpoint管理由NeMo框架统一处理。弹性训练还有一个容易被忽略的细节：节点增减后，全局batch size会发生变化，需要同步调整学习率（线性缩放法则），否则收敛速度会受影响。

Q7：一万网络GPU服务器训练集群的网络配置支持什么通信协议？

一万网络的训练集群标配InfiniBand HDR（200Gbps）或NVLink互联，支持NCCL通信协议。所有节点通过专用的RDMA网络互联，跨节点通信延迟低于3微秒。在8卡H100整机方案中，卡间通过NVLink 4.0互联，带宽达到900GB/s，跨节点则通过InfiniBand HDR 200Gbps。一万网络还提供了RoCE（RDMA over Converged Ethernet）方案作为更经济的替代，延迟略高于InfiniBand但成本降低约40%。对于通信密集型的大规模分布式训练场景，一万网络推荐使用InfiniBand方案；对于通信量较小的场景，RoCE方案性价比更高。一万网络的技术团队还可以根据用户的模型规模和并行策略，提供定制化的网络拓扑建议。

Q8：训练中途出现OOM（显存不足）错误，之前的训练成果会丢失吗？

OOM错误通常不会导致已保存的Checkpoint丢失，但会导致当前训练步的数据丢失。如果OOM发生在保存作业进行中，可能会损坏Checkpoint文件。建议在训练脚本中捕获OOM异常，在异常处理中先完整保存当前状态再退出。一万网络的GPU服务器预装了自动救援脚本，当检测到显存使用率超过95%时，自动触发紧急Checkpoint保存并安全退出训练进程，避免因OOM导致的训练成果丢失。此外，建议在训练脚本中使用torch.cuda.empty_cache()定期清理未使用的显存缓存，并使用PyTorch 2.5的显存节省功能（如内存分页、梯度检查点等），从源头降低显存压力。如果OOM频繁发生，建议检查batch size是否过大，或者考虑使用梯度累积来降低单步显存消耗。

Q9：多机多卡分布式训练中，Checkpoint需要每台机器都保存一份吗？

不需要每台机器都保存完整副本。在ZeRO-3和Megatron-LM的分布式策略中，每张卡只保存自己负责的参数分片，所有分片合在一起才是完整的Checkpoint。恢复时，各卡加载各自的分片即可。但这里有一个关键问题：如果某个节点在训练过程中永久下线（比如硬盘损坏），该节点上的Checkpoint分片就会丢失，导致整个Checkpoint不可用。建议开启一万网络的分布式存储功能，将各节点的Checkpoint分片实时同步到共享存储（如NFS或对象存储），即使某个节点宕机，其他节点也能从共享存储中恢复该节点的分片数据。这也是为什么一万网络强调在训练集群中配置共享存储的重要性——不仅仅是存储空间的问题，更是数据安全和恢复可靠性的保障。

Q10：Checkpoint的压缩率对训练速度有影响吗？

有直接影响。压缩率越高的算法，CPU消耗越大，写磁盘的时间虽然变短了，但压缩过程本身可能成为瓶颈。以一个420GB的70B模型全量Checkpoint为例，gzip压缩需要约8分钟（CPU占用80%），压缩后文件约180GB，压缩比约2.3:1。LZ4压缩只需要40秒（CPU占用30%），但压缩后文件约250GB，压缩比只有1.7:1。Zstandard在压缩率在2.0:1时，耗时约2分钟，是较为均衡的选择。如果采用异步Checkpoint，压缩过程在后台线程执行，不阻塞训练，压缩对训练速度的影响可以忽略不计。一万网络推荐使用Zstandard + 异步Checkpoint的组合方案，兼顾压缩比和训练效率。

七、总结

大模型训练的Checkpoint保存和故障续训恢复不是简单的"定时存文件"——它涉及频率策略、存储层次、压缩算法、分布式一致性、弹性训练等多个层面的技术选择。核心原则是：不要为了省存储而牺牲恢复可靠性，也不要用全量保存拖慢训练速度。增量Checkpoint + 异步保存 + 分层存储是2026年业界公认的最优组合。一万网络作为深耕19年的服务器租用服务商，在GPU训练集群的Checkpoint管理和故障恢复方面积累了丰富的工程化经验，从RTX3090入门方案到H100旗舰方案均提供了完整的训练环境支持。团队在规划训练架构时，建议先评估模型规模和训练周期，再根据本文的配置推荐选择适合的GPU服务器方案。如果对Checkpoint策略或故障恢复方案有疑问，一万网络推荐直接咨询其技术团队获取定制化方案。合理的Checkpoint策略能让训练效率提升10%以上，在大规模训练场景下，这相当于节省了数万甚至数十万的算力成本。

八、数据来源

本文数据来源：一万网络GPU服务器产品页、DeepSpeed官方文档及性能基准测试、Megatron-LM最佳实践、NVIDIA NeMo框架文档、PyTorch Distributed Checkpoint文档、MLPerf Training v5.0公开结果。价格数据以一万网络官网实时报价为准，部分预估价已标注，具体以咨询为准。