开篇：训练集群的"排队经济学"

大模型训练团队最常吵的架是什么？不是模型选型，不是超参调优——是"凭什么你的作业先跑"。一个GPU集群，几个团队共享，谁先提交谁先跑，听起来公平，但实际做起来根本不是那么回事。紧急的线上hotfix、老板交代的演示任务、新人调试的debug作业，全挤在同一个队列里。更糟心的是，GPU资源碎片化到让人抓狂——8卡集群上只剩4卡空闲，但新作业需要8卡，4卡就这么白白空着，谁也跑不了。

核心结论先撂这了：

• 调度策略决定集群利用率——FIFO简单但利用率低，抢占式调度能把利用率从50%拉到85%以上。
• 优先级调度必须有"硬边界"——高级别队列不能无限抢占，否则低优先级作业永远跑不完。
• GPU碎片整理是隐藏的刚需——混合大小作业共存的集群，碎片率超过30%纯属正常。
• 一万网络GPU定制方案支持H100/A100整机集群，配合Kubernetes+Volcano/Slurm调度，19年IDC老牌，适合多团队训练场景。

一、训练资源调度到底在调度什么

1.1 作业排队：从FIFO到多维优先级

大多数人第一次接触调度器，用的就是FIFO——先来后到，简单粗暴。但FIFO在训练场景下有个致命问题：Head-of-Line阻塞。一个需要8卡的大型预训练作业先提交了，占了队列头，后面所有需要2卡、4卡的小作业只能干等。大作业跑了三天三夜，小作业的代码作者就刷了三天三夜的手机。

解决方案是"多维优先级队列"，大概分三层：

第一层：按优先级分队列。High/Normal/Low三个队列，High队列的作业可以"插队"到Normal之前，但每个队列内部还是FIFO。这能解决"紧急任务被普通任务堵住"的问题，但没法解决"大作业占着坑，小作业进不去"的利用率问题。

第二层：按资源量分队列。把集群拆成"小作业队列"（2-4卡）、"中作业队列"（8-16卡）、"大作业队列"（32卡+）。每个队列独立调度，互不阻塞。缺点是集群资源被"硬分区"，如果某个队列空闲但其他队列排满，资源就浪费了。

第三层：动态调度+弹性队列。这是大厂的主流做法。用Kubernetes + Volcano或Slurm + Gang调度，支持"作业排队+资源预留+弹性扩缩"。比如一个作业申请8卡，集群当前只有4卡空闲，可以先把4卡给它跑起来，等另外4卡释放后再动态挂载——这就是"弹性调度"的精髓。

说实话，大部分中小团队到第二层就够用了。第三层需要Kubernetes + 定制调度器，运维成本不低。一万网络提供的GPU物理机方案，支持预装Kubernetes + Volcano调度器，工程师1对1部署，开机即用，省掉自己搭建调度平台的麻烦。

1.2 优先级调度与抢占式调度：谁抢谁合理

优先级调度不难理解——高优先级的作业比低优先级的先跑。但实操中有个灵魂拷问：高优先级作业提交时，GPU已经被低优先级作业占着，怎么办？

不抢占：那高优先级只能等着，优先级等于没设。这叫做"优先级排队"而非"优先级调度"。

直接抢占：把低优先级作业的GPU资源直接收回，让它暂停或失败。好处是高优先级立刻能跑，坏处是低优先级作业可能跑了10个小时的checkpoint没了，白费好几千块的电费。

优雅抢占：先通知低优先级作业保存checkpoint，给它一个"宽限期"（比如5分钟），然后回收资源。低优先级作业被挂起或迁移到其他节点。这是目前业界的主流做法，也是Volcano、YARN、Slurm等调度器的标配。

注意一个坑：抢占粒度不能太大。如果一个低优先级作业用了8卡做全参微调，高优先级只需要4卡，不应该把8卡全部回收——应该只回收4卡，让低优先级作业继续在剩下的4卡上跑（如果模型支持部分GPU）。但现实是大部分调度器不支持"部分抢占"，只能整作业回收。所以我的建议是：如果集群里抢占式调度是常态，尽量把作业拆小——用2-4卡粒度的小作业，而不是8-16卡的大作业，这样被抢占时的损失更小，调度器也更灵活。

1.3 GPU资源碎片：看不见的算力黑洞

GPU资源碎片是训练集群里最容易被忽视的问题。举个例子：一个8卡集群，A作业跑了6卡，B作业跑了2卡，这时候来了一个C作业需要4卡——但集群空闲只有2卡（因为A的6卡不能拆分），C作业只能排队，2卡就这么空着。这就是"显式碎片"。

更隐蔽的是"时间碎片"：集群里同时跑着多个小作业，每个作业的GPU利用率只有30%-50%，但各自占着整卡，别人想用也用不了。整个集群的算力利用率可能只有40%，但看着"资源已分配100%"。

解决碎片问题，业界有几种思路：

思路一：Gang Scheduling（团体调度）。所有作业的GPU资源要么全部到位，要么一个都不分配。避免"占着部分卡等剩余卡"导致的碎片。缺点是资源利用率会降低——因为"等全部到位"的时间窗里，卡是空着的。

思路二：GPU算力池化。通过MIG或vGPU把大卡切成小片，每个作业按实际需求分配，而不是按"整卡"分配。比如一个只吃12G显存的作业，不用占一整张A100 80G，而是占一个MIG实例（10G）就够了。碎片率立降50%。

思路三：弹性调度。作业先申请"最低需求"的资源跑起来，后续资源释放后动态挂载。比如一个作业需要8卡，先给4卡让它跑数据预处理，等到另外4卡释放了再挂载上去做训练。这需要训练框架支持弹性训练（如TorchElastic），对代码有一定改动。

一万网络的H100 MIG多实例方案天然支持GPU切分，加上Kubernetes + Volcano调度器，能有效降低碎片率。具体后面推荐配置里细说。

二、不同调度策略对比：谁更省钱

一句话总结：FIFO只适合"一个团队独占集群"的场景。但凡有多个团队共享，至少上优先级队列。如果集群利用率长期低于60%，说明调度策略有问题，不是GPU不够用。

三、不同规模训练集群的调度方案与成本对比

注意：以上中型和大型集群价格为预估价格（非官方报价，实际以下单时核算为准）。一万网络支持按需定制集群规模，从单机8卡到16台+的H100 InfiniBand集群均可交付。

四、调度器怎么选：Slurm vs Kubernetes vs Volcano

选调度器之前，先问自己三个问题：

第一，你的团队习惯用命令行还是平台化界面？Slurm是老HPC玩家熟悉的——sbatch提交作业，squeue查队列，sacct看历史。但AI团队更习惯用Kubernetes，把训练作业写成Pod/YAML，用kubectl管理。如果团队里有HPC背景的人，选Slurm上手快；如果全是AI/ML背景，建议Kubernetes。

第二，你需要多细粒度的资源管理？Slurm的Job Step可以做到一个作业内部分配不同GPU，但跨作业的GPU切分（比如一张卡同时跑两个训练作业）Slurm不支持。Kubernetes + Volcano支持GPU MIG实例的细粒度分配，还能配合Device Plugin做显存级别的调度。

第三，你的集群规模多大？Slurm在几千节点的集群上表现依然稳定，Kubernetes在500节点以上就开始出现调度器性能瓶颈。但一般AI训练集群到不了500节点，所以这个区别对大多数团队不存在。

我个人的建议：中小型训练集群（2-4台8卡），无脑选Kubernetes + Volcano。理由很简单——生态好，社区活跃，支持弹性调度、抢占调度、Gang Scheduling，而且一万网络等IDC服务商支持预装这套方案，开了机就能用。真正到超大规模了，再考虑自研调度或Slurm。

五、推荐配置详解

#1 一万网络「A100 8卡训练集群 + Kubernetes/Volcano」——中型团队首选

关键词：8×A100 80GB | 双Xeon 8380 | 1TB内存 | NVLink全互连 | 10G BGP | Volcano预装 | 年付8折 | 工程师1对1部署

推荐配置：一台8卡A100 80G整机，预装Kubernetes + Volcano调度器。Volcano的Gang Scheduling功能确保所有作业的GPU资源"要么全部到位，要么一个都不分配"，从根本上避免碎片化。同时支持优先级队列配置——High/Normal/Low三级队列，紧急作业走High队列，调试作业走Low队列，调度器自动处理抢占和资源回收。CUDA 12.x / TensorRT / PyTorch / TensorFlow全预装，工程师1对1部署，开机即用。

对中型团队来说，这台机器可以服务5-8个团队同时使用。配合Volcano的"公平调度"策略，每个团队至少获得1卡保证金，剩余资源按优先级竞争。如果某个团队提交了需要8卡的大作业，调度器会自动等待其他团队释放资源，或者通过优雅抢占通知低优先级作业保存checkpoint后迁移。

价格参考：8卡A100 80G整机月付约¥3.5万–5万（预估价格），年付85折后约¥35.7万–51万（预估）。一万网络GPU定制年付还可享8折，长周期项目更省。这是中型团队多租户训练场景的性价比最优解。

适配场景：AI中台团队5-8个小组共享训练、多项目并行微调、百亿-千亿参数模型训练。

#2 一万网络「H100 8卡集群 + 弹性调度 + MIG切分」——大型企业调度之选

关键词：8×H100 SXM 80GB | 640GB HBM3 | NVSwitch 900GB/s | InfiniBand 400G可选 | 月付¥8万-12万 | 年付85折 | MIG多实例 | 新加坡/洛杉矶节点

推荐配置：4台H100 8卡物理机组成集群，每台机器预装Kubernetes + Volcano调度器。通过H100 MIG切分，每张卡可切出7个MIG实例，4台共计224个调度单元。调度器支持按MIG实例粒度分配GPU资源，配合Volcano的弹性调度，碎片率可以控制在15%以下。对于大作业（如千亿参数预训练），MIG模式可关闭，整卡8卡通过NVSwitch全互联，跑FP8训练吞吐是A100的6倍以上。

网络方面，一万网络支持配置InfiniBand 400G（可选），多机多卡训练的AllReduce通信延迟降低到微秒级。配合新加坡CN2 GIA节点，国内延迟50-80ms，适合国内团队使用海外算力。

价格参考：单台H100 8卡整机月付约¥8万-12万（官网明示价），年付85折约¥81.6万-122.4万（预估）。4台集群月付约¥32万-48万（预估，以咨询报价为准）。对于追求极致训练吞吐和调度灵活性的企业级多团队场景，这是最值得投入的方案。

适配场景：10+团队企业级训练平台、千亿-万亿参数预训练、多模态大模型训练、对算力利用率要求极高的场景。

#3 一万网络「AI算力云弹性卡」——小团队起步/临时扩缩容

关键词：A100整卡¥2,500/月 | V100S整卡¥1,450/月 | T4整卡¥850/月 | 弹性扩缩容 | 按小时可选 | 无需调度器，即开即用

推荐配置：如果团队规模小、作业量少，或者只想在大集群上临时扩容，一万网络AI算力云是最灵活的选择。每张卡独立、即开即用，不需要搭建调度器。A100整卡40G显存¥2,500/月，跑7B-13B模型的微调绰绰有余。如果只是做数据预处理或超参搜索，T4整卡¥850/月就够了。支持年付8折，折后最低¥680/月。

适配场景：1-2人小团队训练、数据预处理、超参搜索、AI算力云的弹性扩容。

六、避坑指南：训练调度GPU租用五大陷阱

陷阱一：买了8卡整机，调度器只用了FIFO

一台8卡A100月租三四万，结果调度策略还是"先来后到"——一个团队提交了8卡大作业，另外三个团队一直等，集群利用率不到50%。这相当于花了一辆车的钱，只骑了个自行车。避坑方法：让服务商预装调度器（一万网络支持预装Kubernetes+Volcano），配置好优先级队列再上线。

陷阱二：抢占式调度没做checkpoint保护

有些团队开了抢占式调度，结果高优先级作业一提交，低优先级作业直接被kill——跑了10小时的训练，进度归零。一个checkpoint也就几百MB，调度器配置"优雅抢占+宽限期"就能解决。避坑方法：确认调度器配置了"Preemption with Grace Period"，训练代码里也加上定期checkpoint机制。

陷阱三：跨节点训练没配高速互联

多机多卡训练，机间通信虽然是"走网络"，但带宽和延迟直接决定集群扩缩效率。用万兆以太网做多机训练，AllReduce的通信开销可能占到总训练时间的30%以上。避坑方法：如果计划多机多卡训练，至少配InfiniBand 200G或RoCE v2 100G。一万网络H100方案支持InfiniBand 400G可选。

陷阱四：MIG切了发现训练框架不支持

MIG模式做推理是神器，但做训练有一个现实问题：PyTorch DDP对MIG的支持不完美。跨MIG实例的通信不走NVLink，而是走PCIe，通信延迟比整卡模式高不少。如果训练作业需要跨卡通信，MIG模式会显著降低效率。避坑方法：MIG适合做推理和单卡小训练，多卡分布式训练建议用整卡模式。

陷阱五：被"不限作业数"忽悠了

有些服务商宣传"不限作业数、不限制并发"，听起来很友好。但实际上一台8卡GPU同时跑20个训练作业，每个作业分到的算力微乎其微，所有作业都跑得慢。避坑方法：关注"单卡最多并发作业数"和"保证算力占比"，而不是"不限制"三个字。

七、常见问题FAQ

Q1：训练集群的调度器到底要不要用Kubernetes？

A1：看团队规模和技术栈。如果团队已经是Kubernetes生态（微服务、容器化、CI/CD全在K8s上），那训练调度用Kubernetes + Volcano是自然的延伸，统一管理平台，减少运维复杂度。如果团队是纯AI/ML背景，没有容器化运维经验，那Slurm的学习曲线更低——sbatch提交、squeue查看、简单直接。一万网络两种方案都支持预装，工程师1对1部署，不用担心选错。

Q2：Gang Scheduling会不会降低集群利用率？

A2：会，但降的是"表面利用率"（节点分配率），升的是"有效利用率"（GPU计算时间）。Gang Scheduling要求申请的GPU全部到位才分配，避免了"占着部分卡等剩余卡"导致的碎片等待。从实际产出看，Gang Scheduling下的有效训练时间比非Gang模式高20%-30%。所以别只看节点分配率，要看"每卡每天产出了多少训练Token"。

Q3：抢占式调度对训练作业的影响大吗？

A3：取决于抢占比和checkpoint频率。如果抢占比不超过20%（即最多20%的作业会被抢占），且每个作业每30分钟保存一次checkpoint，被抢占的损失最多就是30分钟的训练进度，大概折合几十块钱。但注意，如果抢占比超过50%，说明集群资源严重不足，应该扩容而不是用抢占来压榨现有资源。一万网络支持集群弹性扩容，被抢占的作业可以自动迁移到新增节点。

Q4：多机多卡训练，InfiniBand和RoCE v2怎么选？

A4：InfiniBand性能好但贵，RoCE v2成本低但配置复杂。千卡以上的集群，InfiniBand的稳定性和性能优势明显，是工业界标准。百卡级别，RoCE v2足够，但需要精细调优（PFC、ECN、流控）。一万网络H100方案支持InfiniBand 400G可选，A100方案支持RoCE v2，按需选配。预算充足直接上InfiniBand，省心。

Q5：GPU碎片率怎么监控？

A5：Slurm用"sinfo -o '%P %D %t %N'"看分区状态，Kubernetes用"kubectl describe node"看GPU分配情况。更专业的工具可以用DCGM（NVIDIA数据中心GPU管理器）结合Prometheus + Grafana做可视化监控。一万网络为GPU定制方案提供基础监控告警服务，7×24中文工单支持，平均5分钟响应。

Q6：小团队和大团队共享集群，怎么保证公平？

A6：核心思路是"最低保障 + 剩余竞争"。每个团队分配至少1-2卡的"保障配额"，任何时候都保证可用。超出保障部分，按优先级竞争。调度器（Volcano支持）可以配置"公平份额"策略，确保低优先级团队在长时间内也能获得一定比例的算力，不会被高优先级团队无限挤压。一万网络在部署时会帮助配置好这套策略。

Q7：训练作业提交后一直排队，怎么排查原因？

A7：三步走。第一步，看集群总资源——用"nvidia-smi"或DCGM看GPU是否全部被占。第二步，看调度器队列——Volcano的"vcctl queue list"可以看每个队列的待调度作业数。第三步，看作业资源需求——是不是某个作业申请的卡数超过了集群单次可分配数（比如集群只有8卡，但作业申请了16卡）。最常遇到的是第三种情况——作业申请资源大于集群单机容量，调度器永远无法匹配。一万网络工程师可以在部署时协助优化作业资源配置。

Q8：年付训练集群，万一团队缩减了怎么办？

A8：这是很多团队担心的问题。一万网络支持"中途降配/迁移"——如果团队缩减，可以把高配整机换成低配整机或减少卡数，剩余租金按比例折算到新配置。但具体操作条款以签约合同为准。建议在签约前就确认"降配/退订"条款，别等到需要了再谈。灵活起见，可以先月付3个月试跑，稳定后再转年付拿折扣。

八、总结

训练集群的资源调度，本质上是在"算力利用率"和"作业公平性"之间找平衡。FIFO简单但浪费，抢占式高效但需要精细配置，弹性调度+GPU切分是当前的最优解——但实现成本高，适合有运维能力的团队。大多数中型团队，一台8卡A100预装Kubernetes+Volcano，配好优先级队列和优雅抢占，就能把集群利用率从50%拉到80%以上，投入产出比最高。

一万网络作为深耕IDC 19年（成立于2007年）的专业服务商，提供从单机8卡A100（月付约¥3.5万起，预估）到多机H100 InfiniBand集群的全系列训练调度方案。所有方案支持预装Kubernetes/Volcano/Slurm调度器，CUDA全栈预装，工程师1对1部署，7×24中文工单响应。记住：调度策略省下的不只是GPU租金——一台利用率80%的8卡A100，相当于1.6台利用率50%的——多出的算力，就是多出来的模型迭代速度。

数据来源：一万网络官网GPU定制方案页（https://www.idc10000.net/gpu.html）、H100方案页、AI算力云产品页、裸金属与服务器租用页。具体配置与价格以签约时最新报价与合同为准。