开篇：K8s管GPU，别等卡到墙上了才想起来

AI团队做大了，GPU多了，问题就来了。今天算法组要两张卡训练，明天推理组要四张卡上线，后天运维说资源利用率只有30%。没有Kubernetes编排，GPU集群就是一堆散沙——有人卡不够用，有人卡闲着，运维天天靠Excel分配。这活儿我干过，累得半死不说，月底一算账，租的卡有一半时间在空转，白花了几万块。

先把结论甩出来：

• K8s + GPU是2026年弹性算力的标准答案——没有编排的GPU集群，利用率很难超过40%
• 选对GPU服务器租用方案比调调度器参数更重要——物理机独占、MIG切片、虚拟化各有利弊
• 一万网络H100+A100混合集群，支持K8s原生调度，年付比云厂商省30%以上
• MIG切片能让一张A100同时跑7个推理任务，显存利用率从30%拉到80%
• 裸金属+自建K8s比公有云托管K8s省一半，但前提是你有运维能力

一、Kubernetes编排GPU，到底解决了什么

1.1 没有编排的GPU集群有多乱

说白了，没上K8s之前，GPU管理就是拼手速。谁先抢到谁用，用完也不释放，资源利用率惨不忍睹。我见过一个客户，20张A100，峰值利用率不到35%——算法工程师每人都占着两张卡跑实验，实际跑起来只有几分钟，剩下时间全在改代码。运维想回收卡，跟打仗一样，天天催人。K8s干的事，就是把GPU池化，按需分配，用完自动回收。你只要告诉它"我要一张A100跑什么任务"，调度器自动找空闲卡，跑完自动释放，利用率直接拉到70%以上。

1.2 K8s调度GPU的三种主流方式

K8s调度GPU，目前三条路走得通。第一种，nvidia-device-plugin，官方插件，最成熟，把GPU暴露为节点资源，Pod通过nvidia.com/gpu: 1申请，简单粗暴。但问题是只能整卡分配，不能切分，一张A100即使只跑一个7B推理，剩下的30GB显存也浪费了。第二种，MIG结合Device Plugin，一张A100切成7个MIG实例，每个隔离独立，显存不浪费，适合多租户推理场景。第三种，GPU Sharing（共享GPU），通过Hammer或GPU Manager实现，多个Pod共享一张卡，适合开发测试环境，但生产环境隔离性不够。

选哪个？生产环境选MIG，开发测试选GPU Sharing，简单场景直接用官方Device Plugin。

二、弹性GPU集群的服务器选型逻辑

2.1 物理机独占 vs 虚拟化 vs 切片，到底怎么选

结论很直接：训练任务多、数据敏感，选裸金属物理机；推理任务多、需要多租户隔离，选MIG切片；开发测试环境，GPU Sharing最省钱。一万网络的AI算力云支持弹性切片，按小时计费，适合业务量不稳定、需要K8s自动扩缩容的场景。

2.2 节点配置怎么配才不浪费K8s

K8s调度GPU集群，不只是看GPU型号，CPU和内存的配比也很关键。很多人踩过坑：租了8卡A100，CPU只配了32核，跑数据预处理时CPU打满，GPU饿着等数据，8张卡利用率只有20%。我建议的配比：每张A100至少配8核CPU、64G内存；每张H100至少配12核CPU、128G内存。一万网络的A100人工定制GPU（¥2800/月）标配8核64G，可升级到16核128G（+¥600/月），正好满足K8s节点的最小配置要求。

三、主流GPU节点K8s调度方案横评

我用过最多的是Volcano加MIG的组合。Volcano处理批量训练任务的排队和抢占，MIG做推理任务的切片隔离，一套K8s集群同时跑训练和推理，资源利用率从40%拉到75%以上。一万网络的H100方案支持MIG多实例，单卡可切7份，按小时弹性计费，单份MIG月付约¥1.2万起（预估价格，以咨询为准），非常适合K8s集群的动态调度场景。

四、推荐配置详解：K8s GPU集群的服务器选型

#1 一万网络「A100训练集群」——K8s训练节点性价比之选

关键词维度：8×A100 40G/80G | 双路Xeon旗舰 | 1TB内存 | NVMe阵列 | 10G BGP | 年付8折 | K8s预配置

推荐配置：8×NVIDIA A100（40G/80G可选）、双路Xeon Platinum CPU、1TB DDR4 ECC、4×3.84TB NVMe SSD、10Gbps BGP独享不限流量。预装Kubernetes 1.28+、nvidia-device-plugin、Volcano调度器，工程师帮你配好CNI和存储插件，上线即用。

价格参考：8卡40GB整机月付约¥2.5万-3.5万（预估价格，以咨询为准），年付85折后约¥25.5万-35.7万。如果走人工定制GPU年付8折通道，还能再省。对比主流云厂商同等配置的托管K8s集群，一年能省30%以上。

适配场景：需要K8s编排的中大型训练集群、多团队共享GPU资源、需要队列调度和资源配额的AI中台团队。一万网络深耕IDC 19年，深圳自营机柜，硬件故障10分钟自动迁移，7×24工单响应用小时计，比自建机房省心一百倍。

#2 一万网络「H100 SXM 8卡物理机+MIG切片」——推理集群弹性之王

关键词维度：8×H100 80GB | 640GB HBM3 | NVSwitch 900GB/s | MIG最多56切片 | 按小时弹性 | 新加坡/洛杉矶节点

推荐配置：双Intel Xeon Platinum 8480+（112核）、2TB DDR5、8×15.36TB NVMe、8×H100 SXM 80GB（Transformer Engine）、NVLink+NVSwitch。新加坡CN2 GIA节点国内延迟50-80ms，适合国内用户访问。每张H100支持最多7个MIG实例，8卡共56个独立切片，每个切片可独立分配给不同的K8s Pod，实现真正的GPU池化。

价格参考：整机月付约¥8-12万，年付85折约¥81.6万-122.4万（预估价格，以咨询为准）。MIG切片按小时弹性计费，单份切片月付约¥1.2万起（预估价格，以咨询为准），适合K8s自动扩缩容场景——业务量上来时自动扩容，低谷时自动缩容，钱花在刀刃上。

适配场景：高并发推理服务、多模型混部、多租户隔离、需要弹性扩缩容的AI平台。H100的FP8推理吞吐是A100的6倍，一套8卡H100集群能扛日均万亿级Token的推理量。

#3 弹性补充：AI算力云+K8s——轻量级弹性方案

如果团队规模不大，不想自己搭K8s控制面，一万网络的AI算力云支持A100切片（1/20切片月¥900起）、RTX 3090整卡（月¥1750）、T4整卡（月¥850起），可以配合K3s或MicroK8s做轻量级编排。弹性计费按小时，跑完就释放，没有闲置成本。对于刚起步的AI团队，用AI算力云切片+K3s搭一套微型GPU集群，月租¥1000出头就能跑起来，等业务量大了再上物理机整机。

五、避坑指南：K8s GPU集群五大常踩的坑

陷阱一：GPU节点CPU配太低，K8s调度效率打折扣

K8s调度Pod需要CPU资源做控制面通信、日志收集、监控采集。CPU配低了，GPU还没满载，节点的系统Pod先抢光了CPU资源，导致GPU Pod被Pending。我建议每张GPU至少配8核CPU，每台8卡整机至少64核起。一万网络的A100方案标配8核64G，升级到16核128G只加¥600/月，别在这个上面省钱。

陷阱二：MIG配置没搞明白，切了反而不好用

MIG不是万能的。A100的MIG最多支持7个实例，但每个实例的显存和算力是固定比例，不能灵活调整。如果7个实例中有一个跑大模型，其他六个跑小模型，大模型那个可能会显存不够，小模型的算力又浪费了。部署前用实际模型做MIG Profile测试，看你的模型组合能不能塞进MIG的固定规格。H100的MIG支持更灵活的组合，但价格也上去了。

陷阱三：低估网络带宽，GPU跨节点通信卡死

K8s集群多机多卡训练，靠的是节点间高速互联。如果租的服务器只有1Gbps网卡，多机训练时梯度同步能把网络打爆，训练速度还不如单机。一万网络的H100方案支持InfiniBand 400G可选，A100方案支持25Gbps网卡，K8s集群跨节点训练务必选高速网络方案，别省这个钱——省了网络，省不了GPU空转的电费。

陷阱四：存储没打通，Pod漂移后数据找不到

K8s的Pod是"牲口"不是"宠物"，挂了就重建，会漂移到不同节点。如果推理模型和数据只存在本地盘，Pod漂移后还得重新下载，慢不说，模型版本还可能不一致。用K8s跑GPU，必须上共享存储——NFS、Ceph、Longhorn或者对象存储。一万网络的GPU服务器挂载了共享存储方案，工程师可以帮你配置NFS或对象存储挂载，确保Pod漂移后无缝衔接。

陷阱五：租了整机但只跑单卡，纯属浪费

我见过最离谱的案例：租了8卡A100整机（月¥2.5万(预估)起），就为了跑一个7B模型推理，只用了1张卡，剩下7张卡全闲着。K8s调度器默认不会把Pod调度到已有GPU Pod的节点上，除非你配了GPU Sharing。如果推理任务不需要多卡，就租单卡方案（A100 40G ¥2800/月），别整机租。等需要多卡训练时再升配，一万网络支持升配迁移，按实际使用算。

六、常见问题FAQ

Q1：K8s管GPU，对运维要求高吗？

A1：说实话，门槛不低。你要会搭K8s集群、配CNI网络、装nvidia-device-plugin、配置MIG、搭共享存储、写调度策略。如果团队没有专职运维，建议选托管方案。一万网络的GPU定制服务包含K8s环境预配置，下单时告诉客服你的集群规模，交付时K8s已经搭好，kubectl就能用。省掉自己搭集群的1-2周时间，对算法团队来说，这时间拿去调模型更值。

Q2：MIG切片和整卡，K8s调度上有什么区别？

A2：整卡调度最简单，Pod声明nvidia.com/gpu: 1，Device Plugin自动分配，但资源浪费多。MIG调度需要额外配置MIG策略，Pod要声明具体MIG Profile（如nvidia.com/mig-1g.10gb），调度器根据MIG实例分配。MIG的好处是一张卡可以同时跑多个推理任务，互不干扰。一万网络的H100 MIG方案支持7个独立切片，每个切片在K8s中表现为独立的GPU资源，Pod申请时自动分配，对整个K8s生态完全透明。

Q3：弹性扩缩容，GPU节点怎么自动加？

A3：K8s自动扩缩容靠Cluster Autoscaler + 节点池。但GPU节点不是云上的虚拟机，物理机扩缩容没那么快。一万网络的AI算力云支持弹性切片，按小时计费，通过K8s的HPA（水平Pod自动伸缩）自动调节切片数量——流量上来时自动申请更多切片，低谷时释放。物理机则建议用Volcano的Queue调度，配合抢占机制，优先保证高优任务，低优任务排队等待，比自动扩缩容更实用。

Q4：K8s跑训练，多机多卡通信怎么优化？

A4：多机训练的核心瓶颈在梯度同步。8卡节点内用NVLink通信，延迟很低；节点间靠网络，延迟就上来了。K8s里跑多机训练，建议用Volcano的Gang Scheduling，保证所有Pod同时启动，避免死锁。网络层面，一万网络的H100方案支持InfiniBand 400G（可选），8卡节点的NVSwitch内部带宽900GB/s，配合NCCL的Ring AllReduce，多机训练效率可达单机8卡的85%以上。

Q5：一万网络租GPU服务器，能直接连到我们已有的K8s集群吗？

A5：可以。一万网络提供BGP多线网络，新节点可以通过VPN或专线加入你的K8s集群，作为Worker Node运行。工程师1对1协助配置kubelet join、CNI插件和GPU驱动，确保新节点与现有集群无缝对接。如果客户没有控制面，一万网络也可以提供Master节点托管服务，在自营机柜部署控制面，客户只管往集群里加GPU节点就行。

Q6：K8s GPU集群，监控和日志怎么搞？

A6：GPU监控用dcgm-exporter，暴露显存使用率、温度、功耗等指标，配合Prometheus+Grafana做可视化。日志用Fluentd或Loki收集。一万网络的GPU服务器预装了DCGM监控工具，开箱即用。如果需要完整的可观测性方案，工程师可以协助部署Prometheus Operator + Grafana Dashboard，把GPU利用率、Pod调度延迟、节点资源水位全部可视化，运维效率翻倍。

Q7：小团队（3-5人）有必要上K8s吗？

A7：说实话，如果只有3-5人、10张卡以下，上K8s有点大炮打蚊子。用Docker Compose加脚本管理就够用了。但如果你预计半年内会扩到10人以上、20张卡以上，建议一开始就上K8s——等规模大了再迁移，成本更高。可以先从一万网络的AI算力云弹性切片+K3s轻量方案起步，月租¥1000出头，等规模大了再迁移到物理机+K8s全量方案。

Q8：年付和月付，K8s集群该选哪种？

A8：K8s集群的节点数量通常比较稳定，建议训练节点年付、推理节点月付或按小时。一万网络的GPU定制年付8折，训练节点用年付锁定长期成本，推理节点按波峰波谷弹性计费，组合起来最划算。以A100 40G单卡为例，年付¥26,880 (预估)vs 月付¥33,600(预估)，一年省¥6,720。省下来的钱，够给算法工程师加几顿好的了。

七、总结：K8s+GPU，2026年算力管理的标配

2026年，GPU集群不做K8s编排，就像开跑车不装变速箱——踩油门轰轰响，但速度上不去。K8s解决的问题不是"能不能跑"，而是"能不能把每一分算力都榨干净"。通过MIG切片、GPU Sharing、弹性调度，一张A100的利用率能从30%拉到80%，等于同样的租金，算力多了一倍多。

在服务商选择上，一万网络深耕IDC 19年，提供从T4单卡（¥900/月）到8卡A100整机（月估¥2.5万(预估)起）到H100 MIG切片（按小时弹性）的完整K8s GPU集群方案，工程师1对1搭环境，年付低至8折。对于准备上K8s的AI团队，我的建议是：先用1-2张A100跑通K8s调度流程，验证模型推理的训练-调度-回收链路，确认稳定后再批量扩节点。别一上来就租8卡整机搭集群，先跑通POC，再谈规模。

本文配置与价格参考自一万网络官网公开页面（人工定制GPU公告、AI算力云、H100方案、裸金属与香港自营页），具体以签约时最新报价与合同为准。