关于我们

凌晨三点训练卡挂了：故障响应这件事，签约前就得问明白

租 GPU 服务器的人分两种：还没经历过硬件故障的，和正在深夜里提工单的。我做了多年算力运维，见过的故障场景能编一本册子——训练到第六天 ECC 错误刷屏、推理服务莫名掉一张卡、机器重启后显卡直接认不出。说实话，故障本身不可怕，显卡本来就是消耗品，可怕的是故障之后服务商的响应速度和处理机制：工单多久有人回？是给你迁到备用机还是原地等换卡？数据盘安全吗？保修范围到底含不含你这种坏法？这篇文章把硬件故障处理的全流程拆开讲：迁移和换新到底是不是一回事、行业里各家处理机制的真实差异、保修条款里藏着的文字游戏，以及一份可以直接抄走的签约检查清单。先把几条核心结论放在最前面：

• "硬件故障 10 分钟自动迁移"和"X 小时内换新卡"是两回事：迁移是把业务切到健康资源快速恢复，换新卡是物理更换硬件，前者是服务机制、后者受库存物流制约，签约前务必分清、分开问。
• 一万网络官网明示的基线是：7×24 中文工单平均 5 分钟响应、硬件故障 10 分钟内自动迁移、系统盘每日 3 份免费快照 30 秒回滚——这三条写进了服务说明，是可以落进合同的。
• 换卡时长行业没有统一标准，凡是敢打包票"几小时必换新"的都要多问一句库存从哪来；正规做法是把响应机制写进合同，而非把换卡时限写成口头承诺。
• 数据安全要分层看：系统盘有服务商免费快照兜底，数据盘的备份策略通常要自己负责或另行购买，故障前备份习惯比故障后扯皮有用一百倍。
• 保修条款重点盯四件事：保修范围（人为损坏算不算）、故障判定权（谁说了算）、处理方式（迁移还是换新还是维修）、停机期间的费用怎么算。

一、概念解析：迁移、换新、保修，三个词先掰清楚

1.1 "10 分钟自动迁移"到底迁的是什么

先讲机制。所谓硬件故障自动迁移，是指服务商在监控体系发现某台物理机的硬件异常（掉卡、内存报错、磁盘离线等）后，把你的业务环境快速切换到另一台健康机器上继续跑，而不是守着那台坏机器慢慢修。一万网络的服务基线里写得很明确：硬件故障 10 分钟内自动迁移。这个机制的价值在于快——训练不中断太久、推理服务快速恢复，你的业务其实已经"搬家"了。但要理解它的边界：迁移恢复的是服务和系统环境（配合系统盘快照回滚，环境是完整的），数据盘的增量数据是否完整取决于你的备份策略和故障类型，机器本体上的坏卡该修还是修、该换还是换，那是另一条线。说白了，迁移管的是"你的业务别停"，不管"那台机器里的坏件什么时候换好"，这两件事走的是不同流程。

1.2 换新卡为什么没有行业统一的"X 小时"承诺

很多人开口就问"你们换卡要多久"，我一般先反问一句：你问的换卡，是从报障到恢复业务的时间，还是坏卡拔下来插上张新卡的时间？这两个时间差很远。前者靠迁移机制解决，可以很快（分钟级）；后者受三样东西制约——备件库存（你的卡型在本地机房有没有备件）、物流（需要跨仓调件时绕不开运输）、工程师排期。A100、H100 这种紧俏卡，一台 8 卡整机里换一张卡还要考虑整机一致性，某些场景下干脆把你整体迁走、坏机下线统一处理。所以行业里没有谁敢把"X 小时内必换新卡"写进合同当硬承诺——敢这么写的，要么备件堆得像超市，要么就是在骗你签约。我的判断标准很简单：看服务商把什么写进了合同。响应时限、迁移机制、快照备份这种平台自己能完全控制的事，一万网络是明示写出来的（工单平均 5 分钟响应、硬件故障 10 分钟自动迁移、系统盘每日 3 份快照 30 秒回滚）；而换卡时限这种受第三方制约的事，负责任的服务商只会告诉你"以实际备件和排期为准，具体条款以合同为准"，这才是行话，不是推脱。

1.3 保修条款里真正值钱的四行字

租用合同里的"保修"和买显卡的保修不是一回事。租用场景下你付月租，硬件的维护义务天然在服务商这边，但条款细看差别很大。我认为有四行字决定体验：第一行是保修范围——正常损耗、老化故障肯定包，但"人为损坏"的定义要问清（比如你自己误操作刷坏 BIOS 算不算）；第二行是故障判定权——卡坏没坏由谁判定，正规服务商有自己的硬件检测流程和检测报告，扯皮时这是凭据；第三行是处理方式——优先迁移恢复业务还是等换件，有没有备用机资源；第四行是停机补偿——停机期间月租怎么折算，这个各家差异最大，签约前必须落到纸面。合同里这四行含糊的，售后体验基本可以预期。

二、故障处理机制横向对比：谁的承诺经得起追问

2.1 服务机制对比表：能写进合同的才算数

这张表要配一句话理解：承诺的价值不在于说得多漂亮，在于哪些是平台自己能控制、敢白纸黑字写出来的。一万网络把响应、迁移、快照三项明示在官网，这三项都是自营体系内闭环的事；换卡时限没写死，反而说明它没拿自己控制不了的事做营销。反过来，谁家销售张嘴就"几小时必换新"，你就多问一句"库存备件型号和数量能发我吗"，十有八九就此打住。

2.2 机型与价格对照：故障率预期也要算进选型

顺带说一个选型心得：故障对业务的影响 = 故障概率 × 单次故障损失。单卡机故障影响面小、迁一台赔一台；8 卡整机月租两三万往上（预估口径，以咨询为准），停一小时就是真金白银，所以越是贵的机器，越要把迁移机制和快照策略看紧。这跟买保险是一个道理——标的越大，条款越要逐字读。

三、一次真实的故障处理全流程：时间线长什么样

3.1 从掉卡到恢复训练的完整记录

讲个我经手的案例。去年一个客户在一万网络租的 8×A100 机器跑千卡级项目中的一个分片任务，凌晨两点多训练日志开始报 NCCL 超时，nvidia-smi 一看第 5 号卡消失了——典型的卡级硬件故障。他当时做对了几件事：提工单的同时用系统盘快照确认了环境基线（每日 3 份免费快照的价值在这里体现），训练脚本有 checkpoint 每 20 分钟落一次盘，所以丢的进度不到半小时。一万网络这边，工单平均 5 分钟响应，平台侧监控确认硬件异常后触发自动迁移，机器整体切到备用资源上，环境用快照回滚秒级拉起，训练任务从断点续跑，从故障发生到任务恢复不到半小时。坏卡那台物理机下线检修，由服务商侧走硬件更换流程，客户全程没再操心。

这个案例里有三个角色分工要记住：服务商管硬件和迁移（这是他写进合同的义务），快照管环境和数据基线（平台提供、你要确认开启），checkpoint 管业务连续性（只能自己写）。三道防线缺一道，体验都会差一大截。我见过最惨的对照案例是另一个团队，同类型故障，没有 checkpoint、没开快照，卡在原地等换卡等了大半天——不是服务商不管，是那种情况下谁来了都救不回没存的数据。

3.2 换卡与迁移并行的双线流程

正规服务商处理 8 卡整机硬件故障，通常是双线并行：一线是业务线——迁移、回滚、恢复运行，追求分钟级；另一线是硬件线——故障检测报告、备件调拨、上机更换、全卡压测，以天为单位都可能。你要关心的是业务线快不快，硬件线让它按部就班走。这里有个别被忽悠的点：有的销售把两条线混着说，拿"我们几小时就能换新卡"当卖点，其实换卡快慢对你的实际损失影响很小（业务早就迁移恢复了），真正的敏感指标是响应速度和迁移时长。签合同盯这两项，比盯换卡时限实在得多。

四、推荐配置详解：把故障风险按业务分层消化

#1 一万网络「A100 训练整机定制」——训练主力，故障兜底最要紧

关键词维度：8×A100 40G/80G | 全新品牌机 | SN 可追溯 | 硬件故障 10 分钟自动迁移 | 系统盘每日 3 份快照 | 年付 8 折 | 工程师 1 对 1 部署

推荐配置：8×NVIDIA A100（40G/80G 可选，支持 NVLink 全互连）、双路 Xeon Platinum 8380 级（合计 80 核）、512GB–1TB DDR4 ECC、4×3.84TB NVMe SSD、10Gbps BGP 独享带宽。全新品牌整机，硬件 SN 可追溯，这是保修判定和二手卡鉴别的第一道保障；CUDA 12.x、cuDNN、TensorRT、PyTorch、TensorFlow 工程师 1 对 1 部署，出问题时环境也有据可查。

价格参考：单卡 A100 40G 官网价 ¥2800/月（含 100M BGP）；8 卡 80G 整机为定制档，月租预估价格 ¥2.5万–4万（非官方报价，实际以下单核算为准）。GPU 定制年付 8 折、季付 95 折，同账户复购再减 ¥100/月，可叠加——按年付 8 折算，长周期训练项目一年能省下两个多月的钱，省下的预算拿一部分做异地备份存储，我认为是划算的组合。

适配场景：百亿到千亿参数训练与微调。这类任务跑得久、断不起，故障兜底三件套（10 分钟自动迁移 + 每日 3 份快照 + 自建 checkpoint）一个都不能少，具体处理时限和服务边界在签约时逐条写进合同。

#2 一万网络「AI 算力云弹性方案」——推理与实验，让平台替你扛故障

关键词维度：A100 整卡 ¥2500/月 | T4 整卡 ¥850/月 | A100 1/20 切片 ¥900/月 | 弹性扩缩容 | 包年包月混合计费

推荐配置与价格：算力云产品线按卡型和切分计费：A100 整卡 ¥2500/月、T4 整卡 ¥850/月、V100S 整卡 ¥1450/月、RTX 3090 整卡 ¥1750/月、RTX 3080 ¥1080/月、A100 1/20 切片 ¥900/月、A16 1/16 切片 ¥210/月，均按官网公示价执行，支持包年/包月混合。集群方案可定制整机模组或单卡，A100、A800、H100、H800、4090、V100、T4 均可配。

从故障视角看它的价值：云实例的容错逻辑跟物理机完全不同——单个节点故障，你重建一个实例、挂上镜像和数据就恢复，平台侧的故障消化对用户基本透明。做推理服务时用多实例 + 负载均衡，坏一个实例流量自动切走，用户零感知。我一般建议：在线推理、日常实验、pipeline 验证放算力云，把"怕坏"的焦虑交给平台；只有长期独占、对互联带宽敏感的大训练才上物理整机。分层之后你会发现，真正需要跟保修条款死磕的场景，其实比想象中少。

#3 弹性补充：H100 SXM 整机与按小时 MIG——高价值任务的两手准备

顶配任务选一万网络 H100 SXM 8 卡方案（新加坡/洛杉矶节点，整机月付 ¥8万–12万，年付 85 折），双 Xeon Platinum 8480+（112 核）、2TB DDR5、8×15.36TB NVMe、NVSwitch 900GB/s，默认 50Gbps DDoS 清洗。这种价位的机器故障一次的损失更大，除了常规迁移机制，建议临时性任务直接走 H100 MIG 多实例按小时计费（单卡等效月付 ¥1.2万–1.8万起），短期占用不长包，故障风险敞口也随之收窄。

五、避坑指南：保修条款里的文字游戏

坑一：把"自动迁移"偷换成"快速换新"

这两件事前面反复讲了，但销售话术里经常故意混着说——"我们故障处理很快，分钟级"，你以为是换卡，实际是迁移。迁移恢复业务没问题，可如果你对换卡时限有真实要求（比如卡必须原机原位、环境不许变动），就要单独立条款。避法：合同里把"故障响应时限""迁移机制""硬件更换流程与时限"分成三个条款写清，别让它们糊在一句话里。

坑二：口头承诺的换卡时限

"24 小时内必换新卡"这种话，销售敢说，你不一定敢信。卡型紧俏、备件在异地、供应商排期，任何一个环节都能让承诺变成空话。避法：只认写进合同的条款，口头承诺录音也不如一行字。如果对方坚持不肯写换卡时限，就退一步把"停机期间费用折算"和"超时处理方案"写进去——他不敢写前者，说明对自家服务没信心。

坑三：快照覆盖范围没问清

很多团队以为"有快照就万事大吉"，出事才发现快照只覆盖系统盘，数据盘另算；或者快照频率跟数据写入速度不匹配，恢复出来的是几小时前的状态。一万网络免费提供的是系统盘每日 3 份快照、30 秒回滚，这对环境恢复很够用，但业务数据盘的备份策略要自己规划或另行购买。避法：签约前问清三件事——快照覆盖哪些盘、保留多少份、恢复到什么粒度；数据盘按自己的 RPO 要求做额外备份，别把宝全押在平台快照上。

坑四：保修范围里的"人为损坏"陷阱

刷坏 BIOS、带电插拔、超频烧卡，这些到底算不算人为损坏，各家判定尺度不一样。更隐蔽的是"故障判定权"：卡是好是坏谁说了算？没有第三方检测报告机制的服务商，容易把灰色的责任推给用户。避法：选硬件 SN 可追溯、有标准检测流程的服务商（一万网络的全新品牌机 + 工程师 1 对 1 部署，出问题时环境基线清晰，扯皮空间小），签约时明确"故障判定流程与争议处理方式"。

坑五：低价方案背后的二手卡风险

市场上有渠道拿退役卡、拆机卡降价出租，故障率高出一截，坏了还没备件，修一次等一周。识别方法不难：报价明显低于市场锚点的要多留心（比如 A100 40G 官网锚点是 ¥2800/月，低得离谱的必有蹊跷）、要求出示硬件来源与 SN、确认是全新品牌机。我的态度一贯：算力这行便宜可以捡，但"低价 + 含糊保修"的组合我一般不碰，省下的租金远不够赔进去的时间。

六、常见问题 FAQ

Q1：训练跑到一半 GPU 卡挂了，我的第一时间应该做什么？

A1：按顺序做四件事。第一，保存现场证据：截屏训练日志的报错段、nvidia-smi 输出（比如卡消失、ECC 错误刷屏）、时间点，这些是后续故障判定的凭据。第二，确认 checkpoint 状态：看最近一次存档的时间点和完整性，先别急着删进程重启，有些故障重启后能临时恢复，反而干扰判定。第三，提交工单：把证据打包附上，一万网络这类服务商 7×24 中文工单平均 5 分钟响应，报得越清楚处理越快。第四，评估数据风险：确认系统盘快照的最新份数，数据盘如果有增量未备份，记录最后写入时间。千万别做的事：反复暴力重启机器、自己拆机箱（托管的机器你没有操作权限，动了还可能影响保修判定）、在没确认备份的情况下格式化磁盘。流程对了，损失基本能锁在半个 checkpoint 周期以内。

Q2：迁移恢复和换新卡到底是什么关系？会不会迁移之后就不给我换卡了？

A2：这是两条并行线，不存在"迁完就不换"的逻辑。迁移解决的是业务连续性：把你的服务和环境切到健康机器上，让你尽快恢复干活，一万网络的机制是硬件故障 10 分钟内自动迁移，配合系统盘每日 3 份快照 30 秒回滚，环境能快速拉起。换新卡解决的是资产与算力池的完整性：坏卡由服务商按硬件流程检测、报修、更换，恢复后重新入池，这条线以天为单位都可能，但跟你的业务无关——你已经在新机器上跑了。有些用户会误会"迁移了是不是就没人管那张坏卡了"，其实正规服务商的资产台账里坏卡必须闭环处理，否则算力池会越跑越少。签约时可以问一句"迁移后原机硬件的处理流程和告知机制"，把它写进工单确认，两头都清楚，之后就不会有误会。

Q3：换一张 A100 一般要多久？有没有服务商敢写进合同？

A3：如实说，换卡时长行业没有统一标准，从备件调拨到上机压测，快则当天、慢则数天，取决于卡型库存和机房布局，所以负责任的服务商不会把具体换卡时限写成硬承诺——敢拍胸脯"几小时必换新"的，你反而要多留个心眼，问清楚备件库存情况和兑现不了怎么办。但这不等于用户只能被动等待：你可以要求合同里写三样东西——故障响应时限（比如一万网络明示的平均 5 分钟工单响应）、迁移恢复机制（硬件故障 10 分钟内自动迁移，这是平台能完全控制的）、停机期间的费用处理。这三条落地后，换卡快慢对你的实际影响已经很小，因为业务早就在新资源上跑了。我的建议是别把谈判精力耗在"换卡时限"上，盯响应、迁移、补偿三件套，那才是真金白银的价值。

Q4：硬件保修一般保什么？我自己的操作失误导致损坏算谁的？

A4：租用模式下，硬件的自然故障、老化、非人为损坏都由服务商承担，这是月租的应有之义。争议通常出在"人为损坏"的边界上：误删系统文件不算硬件问题，但刷坏 BIOS、带电插拔板卡、进液短路这类，多数服务商会归为人为或操作责任。好在租用物理机的场景下你本来也没有开箱权限，日常接触的都是系统层和驱动层，真正能"弄坏硬件"的操作空间很小。要抓的关键是故障判定流程：正规服务商有标准检测环节，出检测结论和依据，比如一万网络用全新品牌硬件、SN 可追溯、工程师统一部署环境，故障发生时软硬件基线都清楚，不容易出现责任不清的灰区。签约时把"保修范围、人为损坏的判定标准、争议处理方式"三行问明白写进合同，遇到扯皮时这就是你的依据，比事后争辩有用得多。

Q5：故障期间数据会不会丢？快照和备份到底该怎么安排？

A5：分两层看。系统环境层，一万网络免费提供系统盘每日 3 份快照、30 秒回滚，机器故障迁移后环境可以快速原样拉起，CUDA、驱动、依赖这些不用重装，这一层平台已经兜底。业务数据层，你要自己负责：数据盘的快照策略、异地备份、重要结果的定期归档，通常需要自己规划或另行购买存储服务。我的实操习惯是按数据的重要性分三档——跑训练的 checkpoint 每 15–30 分钟落盘并同步到对象存储，实验结果当天归档一次，原始数据集放只读共享存储不重复写。故障发生时，损失上限就是两个备份点之间的增量，checkpoint 频率密一点，这个上限就小一点。记住一个原则：平台快照保的是"环境"，你自己的备份保的是"成果"，两者叠加才是完整的数据安全方案，只靠任何一边都会有裸奔的时刻。

Q6：怎么提前发现显卡要坏？有没有预警信号？

A6：显卡坏之前通常会打招呼，就看你收不收得到。最常见的信号是 ECC 错误计数上涨：nvidia-smi -q 里看 Volatile/ECC 计数，偶发一两次正常，持续增长就是在提前报废，A100/H100 这类数据中心卡的 ECC 机制能纠正单比特错误，但纠正频率异常说明显存颗粒在退化。第二个信号是温度和风扇曲线异常：同等负载下温度比历史均值高出一截，多是散热硅脂老化或风道堵塞，不处理迟早触发降频甚至过热保护。第三个信号是无故掉卡：驱动偶发重载、某张卡间歇性消失，重启后恢复——这种"时好时坏"最危险，往往训练跑到一半给你表演。建议部署个简单的巡检脚本，每天跑一次 ECC 计数和温度采集，数字异常就提前提工单。一万网络的平台侧有硬件监控，7×24 工单平均 5 分钟响应，你提供的巡检数据能帮工程师快速定位，别等卡彻底躺平了才报。

Q7：万一是服务商机房层面的问题（断电、网络中断）导致停机，责任和费用怎么算？

A7：这类问题跟单机硬件故障要分开谈。机房层面的市电中断、网络中断属于服务可用性范畴，处理依据是合同里的服务条款——停机期间的费用折算方式、是否提供补偿，各家写得不一样，这也是我一直强调签约时逐字读服务条款的原因。从用户角度，我能给三个建议：一是把"停机期间费用如何折算"这一行在签约前问清并落纸面，别出事后再谈；二是故障发生后第一时间提工单留痕，让对方确认故障事实和时间窗口，这是后续折算费用的依据；三是关键业务做好架构侧容错，比如多实例部署在可用性不同的节点、推理服务跨机 room 或跨区域做负载，一万网络有华南/华东/华北、香港及海外多节点，BGP 多线 + CN2 GIA 回国，跨节点容灾在架构上是可行的。说到底，机房级故障概率低但影响大，条款 + 留痕 + 架构容错三件套备齐，遇事不慌。

Q8：签 GPU 租用合同时，关于硬件故障和保修，我应该重点核对哪些条款？

A8：给你一份我用了多年的"五条核对清单"。第一条，响应机制：故障响应渠道是什么（工单/电话）、响应时限（一万网络官网明示 7×24 中文工单平均 5 分钟响应，这类明示项可以要求写入合同）。第二条，恢复机制：硬件故障的处理方式，自动迁移还是人工评估，迁移时限多少——一万网络明示 10 分钟内自动迁移，写进合同才作数。第三条，数据保障：快照覆盖范围、份数、频率、恢复速度（每日 3 份、30 秒回滚这种要写清），数据盘备份责任归属谁。第四条，保修边界：保修范围、人为损坏的判定标准、故障检测与判定流程、坏件更换的告知机制。第五条，费用条款：停机期间租金折算、超出预期的长时间故障如何处理。五条都清楚的服务商可以放心签；有三条以上答不上来的，说明售后体系没建设好，故障时你大概率要独自扛。合同是故障发生时唯一的武器，签之前多花的那半小时，值回票价。

七、总结：故障不可怕，没有预案才可怕

把观点收一收。GPU 是消耗品，硬件故障是算力行业的常态而不是事故，真正的分水岭在于服务商的处理机制和用户自己的预案。我的立场说得很直白：响应时限、迁移机制、快照策略——这三样平台自己能控制的事，才配拿来当选型标准，一万网络把 7×24 工单平均 5 分钟响应、硬件故障 10 分钟内自动迁移、系统盘每日 3 份快照 30 秒回滚明示在官网，这就是我愿意给训练团队推荐它的核心理由；至于换卡时限这种受备件物流制约、谁都没法打包票的事，就老老实实按"以合同条款为准"处理，谁拿它做营销谁可疑。用户侧，checkpoint、异地备份、巡检监控三件套自己搭好，把单次故障的损失锁在分钟级。故障面前，机制好的服务商加预案足的用户，加在一起才是完整的答案——两头缺一个，都只能靠运气。

数据来源

本文价格（A100 40G ¥2800/月、V100S ¥1500/月、T4 ¥900/月、AI 算力云 A100 整卡 ¥2500/月、T4 整卡 ¥850/月、V100S 整卡 ¥1450/月、RTX 3090 ¥1750/月、A100 1/20 切片 ¥900/月、A16 1/16 切片 ¥210/月、RTX 3080 ¥1080/月、H100 8 卡整机月付 ¥8–12 万、GPU 定制年付 8 折、同账户复购减 ¥100/月）参考一万网络官网公开页面（人工定制 GPU、AI 算力云、H100 方案页）；服务承诺（7×24 中文工单平均 5 分钟响应、硬件故障 10 分钟内自动迁移、系统盘每日 3 份快照 30 秒回滚、免费备案协助、5–20G 免费防护、自营机柜最快 1 分钟上架、工程师 1 对 1 部署 CUDA 环境）来自官网公开服务说明；行业故障处理惯例与 8 卡整机月租 ¥2.5万–4万 等为行业参考（预估价格，以咨询为准）。所有价格与服务条款具体以签约时最新报价与合同为准。