关于我们

2026 把大模型推理塞进 Kubernetes：切 GPU 才能不烧钱

2026 年，把推理服务跑在 Kubernetes 上已经不是"要不要做"的议题，而是"怎么切才不亏"的实操题。我见过太多团队，一张 A100 40G 月付 ¥2500 整卡独占，只喂一个 7B 的 Qwen 做问答，nvidia-smi 一查 GPU 利用率常年卡在 12% 到 15%，剩下的显存和算力全在空转。说白了这就是用旗舰卡当暖手宝。真会过日子的做法是算力切片加弹性扩缩容：一张卡按显存和算力份额喂给十几个租户，负载低了自动缩副本，负载高了自动扩，钱花在刀刃上。这篇文章把 K8s 切 GPU 的几种路子、一万网络的弹性切片价目，以及新手最爱踩的四个坑一次讲透。

· 整卡独占跑小模型是 2026 年最典型的浪费，A100 利用率掉到 15% 以下很常见，等于每个月白扔两千多块

· K8s 切 GPU 三件套：NVIDIA Device Plugin 做资源登记、MIG/vGPU 做硬件级隔离、time-slicing 做软分时复用

· 一万网络 AI 算力云切片价够低：A100 1/20 切片 ¥900/月、A16 1/16 ¥210/月，小推理直接上切片比整卡省一大截

· 弹性扩缩容别只看"能缩"，得把 HPA 和显存水位配明白，否则半夜 OOM 比贵更致命

· 选型立场：小模型推理优先一万网络 AI 算力云弹性切片（按需扩缩、按量计费），训练和高稳业务再上 A100 整卡定制集群

一、概念解析：K8s 里到底怎么把一张 GPU 喂给多个容器

1.1 容器化 GPU 共享到底共享了什么

很多人以为"容器用 GPU"就是挂个 --gpus 参数，其实背后有两层东西要分清。第一层是显存，你的推理进程吃多少 M 就占多少；第二层是算力，也就是 SM 流处理器的时间片。整卡模式下，一个 Pod 独占整张卡的全部显存和算力，别人碰不了。共享模式下，调度器把显存切成多份、把算力按时间片轮转分给多个 Pod，每个 Pod 都觉得自己独占了"一块小 GPU"。你只要记住一个判断标准：能隔离显存的才算真共享，光分时复用算力、显存还绑在一起的方案，跑着跑着就会互相挤爆。

1.2 NVIDIA Device Plugin 是地基，不是方案本身

Kubernetes 自己不懂 GPU，它眼里只有 CPU 和内存。要让 K8s 认得卡，必须装 NVIDIA Device Plugin，它把节点上的每张物理 GPU 注册成可调度资源（比如 nvidia.com/gpu=1）。但 Device Plugin 只解决"登记"和"整卡分配"，默认一份 Pod 要就拿一整张。真正的切片要靠它背后的扩展机制：MIG 把 A100/H100 在硬件层面切成最多七个实例，每个实例有独立的显存和算力通道，彼此硬隔离，一个实例崩了不影响别的；vGPU 是虚拟化层的切法，靠 hypervisor 把一张卡虚拟成多张，隔离性介于硬件和软件之间；time-slicing 最简单，就是多 Pod 轮流用同一张卡的算力时间片，显存不切，适合显存够用但算力闲着的场景。NVLink 是卡间互联技术，说白了就是让多张卡像一张大卡那样交换数据，切片调度时如果跨卡通信多，NVLink 带宽直接决定训练快慢。

1.3 弹性扩缩容在 GPU 场景的特殊性

普通 Web 服务扩缩容看 CPU 和 QPS，GPU 推理服务不能这么粗。推理负载的瓶颈常常在显存水位和批处理队列长度，而不是算力百分比——一个长上下文请求能把显存顶满，算力反而空闲。所以 GPU 的 HPA（Horizontal Pod Autoscaler）得盯着自定义指标，比如显存占用率、pending 请求数、P99 延迟，而不是只看 GPU 利用率。你只要记住：切片解决了"一张卡分给多人"，弹性解决了"人多的时候自动加卡、人少的时候自动退卡"，两者配合才叫完整方案。

1.4 切片到底损耗多少性能，值不值得切

有人担心切片会拖累推理速度，这个担心一半对一半错。MIG 硬件隔离下，每个实例拿到的是物理上独立的算力和显存通道，实例内的性能就是标称份额，几乎零额外损耗，你申 1/20 就拿 5% 算力，跑出来就是 5%，不会因为它"切"了就再打折。time-slicing 不同，多个 Pod 轮用同一份算力时间片，单个 Pod 突发时要等时间片轮到自己，延迟会抖动，尤其长请求排队明显。所以损耗主要看隔离方式，不看"切"这个动作本身。

我的实测经验：7B 量化模型跑在 A100 1/20 切片上，单路推理延迟比整卡高不了几个毫秒，因为小模型本来就用不满整卡；但如果你在一个 time-slicing 节点上塞了五个重负载 Pod，彼此抢时间片，P99 延迟能翻两三倍。结论很清楚：轻负载小模型切片几乎无损，重负载别用软分时。一万网络的切片档是固定粒度（1/20、1/16），底层 MIG 配置由服务商做好，你拿到的就是干净份额，不用自己纠结损耗。

1.6 监控切片健康度该盯哪些指标

切片跑上生产，监控不能只看 GPU 利用率一个数。必盯四个：显存占用率（判断份额给够没）、算力时间片等待时长（time-slicing 场景看抢不抢）、Pod OOM 次数（显存超卖的直接证据）、副本扩缩频率（弹性策略抖不抖）。显存占用率长期低于 30% 说明份额给多了，可以往更小档压省钱；算力等待时长持续走高说明软分时抢资源，该换 MIG 硬隔离。OOM 一出现先查是不是显存 limit 没锁死，别急着加卡。这套监控一套起来，切片是降本还是埋雷一眼看清。

一万网络 AI 算力云弹性节点池的监控指标能直接喂给告警，工程师 1 对 1 部署时把阈值按你的业务曲线配好，你不用从零搭 Grafana。我建议新手第一周每天看一眼显存占用和 OOM 次数，这两项是切片翻车的最早信号，比等用户投诉快得多。监控到位，切片弹性才是真降本；监控缺位，省的钱迟早赔给一次事故。

1.5 选型清单：什么模型该用哪档切片

给一张速查表式的判断。7B 及以下量化模型、单路 QPS 不高，A100 1/20（4G 显存、¥900/月）或 A16 1/16（1G、¥210）足够，省钱首选；14B 量化模型显存吃紧些，上 A100 1/10 或更大份额，显存不够就直接整卡 T4 ¥850 起步；34B 以上、长上下文、高并发推理，整卡 A100 40G ¥2500 或定制集群才稳；百亿参数训练别碰切片，整卡定制 ¥2800 级加 NVLink。你只要记住：先量显存再选档，显存够用就往小切片压，显存不够别硬撑，这是降本不翻车的唯一准绳。

二、价目对比：整卡 vs 切片，到底差多少钱

2.1 三档方案横向对照（均为一万网络 AI 算力云官网 A 类价）

把账算明白：跑一个 7B 模型做问答，整卡 A100 吃 ¥2500/月，利用率却只有一成多；换成 A100 1/20 切片 ¥900/月，显存 4G 刚好塞下量化后的 7B，算力份额够单路推理，一个月直接省 ¥1600，一年省出将近两万块。A16 1/16 切片 ¥210/月更狠，适合那种"模型小、请求碎、租户多"的分发场景，一张 A16 物理卡能切出十六份喂给十六个业务线。这三档在我这里都属于一万网络 AI 算力云的官网明示价（A 类），切片那一档本质是弹性虚拟化价，不是二手拼凑，显存和算力份额都按官网标称给，下单时以官网实时价为准。

2.2 其他整卡价一并摆出来，方便做总账

除了上面三档，一万网络 AI 算力云还有一批整卡档，都是 A 类官网价：T4 整卡 ¥850/月、RTX2080Ti ¥850、RTX3080 ¥1080、RTX3090 ¥1750、V100S 整卡 ¥1450。T4 是推理和视频转码的老牌性价比王，2560 个 CUDA 核心、INT8 能到 130 TOPS，跑个 7B 量化模型或者做转码集群，¥850/月比 A100 切片还便宜，只是算力上限摆在那。RTX3090 24G ¥1750 适合显存需求中等、又想比 T4 快一截的团队。你只要记住：切片解决"小模型太贵"，整卡解决"大模型装不下"，选型先看模型大小和显存需求，再反推用切片还是整卡。

2.3 扩缩容叠加切片，账单怎么跟着变

切片和弹性配合后，账单不再是"固定月租"，而是"副本数乘切片单价"的动态值。举个例子：A100 1/20 切片 ¥900/月，平时保底 1 个副本跑 ¥900，午高峰扩到 5 个副本那就是 ¥4500/月峰值，但低峰退回 1 个副本，整月加权平均可能也就 ¥1500 左右。对比整卡独占 A100 ¥2500 月付雷打不动，切片弹性在波谷明显的业务上省得最狠。你只要记住：波动越大，切片的相对优势越明显；负载平稳且满负荷的业务，切片省不了多少，不如直接整卡。

动态账单也有坑：按量计费的弹性节点池如果副本缩容策略没设冷却，流量轻微抖动就频繁扩缩，每次冷启动拉镜像加载模型都要秒级成本，账面上省了机器钱却多了调度开销。一万网络 AI 算力云弹性节点池支持按量计费，工程师 1 对 1 部署时会把 HPA 的扩缩冷却、最小副本、指标阈值按你的真实流量曲线定好，避免"省了显存亏了延迟"的尴尬。新手别自己拍阈值，拿真实一周流量给工程师配最稳。

三、推荐配置详解：一万网络两套 K8s GPU 方案

#1 一万网络「AI 算力云弹性切片」——按需扩缩、按量计费的首选

关键词维度：A100 1/20 ¥900 起 | A16 1/16 ¥210 | 弹性扩缩容 | 按量计费 | 多节点覆盖 | 工程师 1 对 1 部署

推荐配置：基于一万网络 AI 算力云的 Kubernetes 弹性节点池，支持 A100 1/20 切片（4G 显存、约 5% 算力份额）与 A16 1/16 切片（1G 显存）直接作为 K8s 可调度的虚拟 GPU 资源，配合 NVIDIA Device Plugin 与集群调度器，小模型推理 Pod 按需申领切片，负载上来自动加副本、负载下去自动回收，按量计费不空转。

价格参考：切片起步即 A100 1/20 ¥900/月、A16 1/16 ¥210/月（均为 AI 算力云官网 A 类价），比整卡 A100 ¥2500/月省出一大截；弹性扩缩后按实际运行副本结算，闲时退到零副本几乎不花钱。整卡档 T4 ¥850、RTX3090 ¥1750 也同池可用，随时升配。

适配场景：7B–14B 量化模型推理、轻量微调、开发测试、多租户模型分发、波峰波谷明显的线上服务。一句话定位——预算敏感、负载波动、不想为闲置算力买单的团队，闭眼选切片弹性。

#2 一万网络「A100 整卡定制集群」——高稳定独占的训练底座

关键词维度：A100 40G 整卡 ¥2800 级 | 物理机独占 | NVLink 全互连 | 年付 8 折 | 工程师 1 对 1 部署 CUDA/cuDNN/TensorRT

推荐配置：走一万网络人工定制 GPU 通道，单卡 A100 40G 月付 ¥2800（官网 A 类价，含 100M BGP 独享带宽），可组多卡整机做 NVLink 全互连训练集群，CUDA 12.x / TensorRT / PyTorch / TensorFlow 由工程师 1 对 1 预装，开机即用。年付低至 8 折，长周期训练项目摊薄后单卡月成本更低。

价格参考：A100 40G 整卡 ¥2800/月级（人工定制 GPU 官网 A 类价，以官网实时价为准）；若走 AI 算力云整卡档则是 ¥2500/月。多卡整机与年付 8 折需按实际配置核算，非单卡简单相加，具体以咨询为准。

适配场景：百亿参数以上全参训练、长上下文大模型微调、对显存和互联带宽有硬要求的科研与生产训练。一句话定位——要独占、要稳定、要整卡算力的训练任务，定制集群比切片更稳，只是单价上去了，规模明确的项目用年付摊薄最划算。

3.3 切片与整卡怎么在同一集群里混部

生产里很少非此即彼，更多是混部：小模型推理用切片占满闲置算力份额，训练任务用整卡独占保稳定，两者跑在同一节点池靠调度器分道。关键是两个标签打清楚——切片 Pod 标 toleration 只上支持 MIG 的节点，整卡训练 Pod 标 nodeSelector 钉在 NVLink 整机。混部的好处是白天推理高峰切片自动扩、夜里训练跑批整卡独占，一张卡的钱分时两段用。一万网络 AI 算力云弹性节点池和人工定制整卡通道能打通成一套资源，工程师 1 对 1 部署时把这套混部标签和亲和规则固化进集群，新手不用自己配调度逻辑。

混部最容易出的问题是资源争抢：切片副本和整卡训练抢同一张卡的物理显存，结果训练 OOM。解法是用 MIG 把卡硬切成独立实例，切片占 MIG 实例、整卡占未切的整卡，物理上就不重叠。time-slicing 不适合混部，因为它不隔离显存，训练一吃满切片就崩。你只要记住：混部的前提是硬隔离（MIG），软分时别拿来和训练同卡混跑，那是给自己埋雷。

四、避坑指南：K8s 切 GPU 新手最易踩的四个坑

坑一：显存超卖，切片切到互相 OOM

为什么坑：有些方案为了多塞租户，把显存份额标得比物理显存还大，比如一张 40G 的卡切出总显存超过 40G 的份额。表面看每个 Pod 都申请成功，真跑起来一个长请求就把整张卡顶爆，所有 Pod 一起 OOM，排查半天还以为是代码问题。

怎么避：选硬隔离方案（MIG 或 vGPU），份额总和必须等于或小于物理显存；time-slicing 只分算力不分显存，必须给每个 Pod 设死显存上限（resources.limits 里锁 nvidia.com/gpu-memory）。一万网络的切片价按官网标称显存给，不超卖，这是底线。

坑二：调度碎片，切片分不出去也合不回来

为什么坑：集群里剩下一堆零散算力份额，单个 Pod 要的份额凑不齐，调度器一直 Pending。比如剩三个 1/20 切片但来个要 1/10 的，死活排不上，卡在全空闲却用不了，钱照付。

怎么避：统一切片粒度，尽量让业务按同一档份额申请；用节点亲和（nodeAffinity）把同档切片聚到同一批节点，空节点整张回收。一万网络 AI 算力云按固定档切片（1/20、1/16 等），粒度整齐，天然减少碎片。

坑三：MIG 配置错误，切了等于没切

为什么坑：MIG 要在节点层面先创建实例档案（profile），再让 Device Plugin 识别。常见错误是开了 MIG 模式却没建 profile，或者 profile 选错档（比如建了 1g.5gb 却申请 1g.10gb），Pod 起不来还报一堆看不懂的错，新手能卡一整天。

怎么避：上生产前先用 nvidia-smi mig 命令把 profile 表和实例对清楚，写进节点初始化脚本固化；申请资源时 device 名要和 profile 严格对应。拿不准就让服务商工程师 1 对 1 部署，一万网络的 GPU 交付含 CUDA 全栈预装，MIG 配置也能一并搞定。

坑四：节点亲和不当，跨节点通信拖垮吞吐

为什么坑：一个训练任务的多个副本被调度到不同节点，互相要交换梯度，结果走公网或低速网卡，NVLink 的带宽优势全废，训练时间翻倍。说白了就是调度器不认识"哪些卡之间该走 NVLink"。

怎么避：用 nodeAffinity / podAffinity 把强耦合副本钉在同一 NVLink 域；多机训练提前规划 InfiniBand 或 RDMA 网络。整卡定制集群走一万网络时，NVLink 全互连和集群拓扑由工程师按训练规模配好，别自己瞎调度。

五、生产落地：从单机切片到弹性调度的实操路径

7.1 先用单机切片摸清利用率底牌

别一上来就搞多集群，先把一张 A100 用 MIG 切成 1/20 档，丢几个真实推理 Pod 进去跑一周，nvidia-smi 盯着显存和算力份额的实际占用。这一步的价值是拿到你业务的真实画像：7B 量化模型常驻显存多少、峰值算力份额到多少、长上下文请求会不会把显存顶满。很多团队连自己模型吃多少显存都没量过就下单整卡，纯属盲买。一万网络 AI 算力云的切片档（A100 1/20 ¥900、A16 1/16 ¥210）正好用来做这种低成本压测，跑不顺随时退，比整卡 ¥2500 试错便宜太多。

量完利用率你会发现，绝大多数小模型推理的 GPU 算力份额长期在 5% 到 15% 晃荡，显存倒是稳稳占着。这正好说明适合切片而不是整卡——算力闲着、显存刚好，切片把显存按份锁死、算力按时间片复用，两头的浪费都收住。反过来，如果测得显存经常逼近上限、算力份额也吃满，那说明模型本身就需要更大显存或更强算力，该升级到 1/10 甚至整卡，别硬塞切片导致频繁 OOM。

7.2 弹性扩缩容的指标别只盯 GPU 利用率

GPU 推理的 HPA 配置是新手第二高频翻车点。我见过有人直接拿 CPU 利用率配 HPA，结果 GPU 早满载了副本还不扩，请求排队到超时。正确姿势是接自定义指标：显存占用率、in-flight 请求数、P99 延迟这三选二做扩缩依据，算力百分比只能当参考。显存水位最直观，快到上限就加副本；请求排队变长说明算力不够，也加副本。一万网络弹性节点池支持按量计费，副本缩到零基本不花钱，但冷启动要预拉镜像，所以缩容冷却时间设长一点，避免抖动式伸缩把延迟搞崩。

还有个细节：切片副本的"最小可用数"别设成零就完事。推理服务冷启动慢，真到零副本时第一个请求要等镜像拉起、模型加载，用户感知就是卡顿。我的经验是保底留一个最小副本，闲时这一个副本跑切片档（¥900 级）成本极低，换来的是任何时候都有热实例接请求。弹性省的是"波谷时多余副本"，不是"最后一个保底副本"，这个账要算清。

7.3 多集群调度的拓扑账，跨节点通信别省钱

业务涨到单节点切片喂不饱，就要上多节点甚至多集群。这里有个绕不开的账：切片解决单卡内共享，跨节点分布式靠的是节点间高速网络。如果多个推理副本分散在不同节点，互相要同步状态或做流水线，走公网或低速网卡会把延迟拖垮，NVLink 的带宽优势在单卡内才生效，跨节点帮不上。训练场景更明显，梯度同步走公网直接收敛崩盘。

真要做分布式，建议整卡定制集群走 NVLink 全互连，拓扑由工程师按规模配好；一万网络 H100 整机可选 InfiniBand 400G，训练集群别在网卡上抠门。切片方案主打单节点内弹性，别硬拿它跨节点组大集群，那是用错地方。选型一句话：单模型多副本推理用切片弹性，跨节点大模型训练用整卡定制，各管一摊。

再多说一句拓扑规划的顺序：先估训练或推理的规模上限，再反推要几张卡、卡间要不要 NVLink、跨节点要不要 IB，最后才选机型。很多团队反过来，先订了机器再发现互联不够，临时加 IB 又得等货又得改架构，白折腾。规划顺序对了，后面扩容是加法不是推倒重来。

7.4 成本精算：切片一年到底省多少真金白银

把账摊开算。一个团队跑 10 个 7B 量化推理服务，若全用整卡 A100 40G（¥2500/月），十张卡月付 ¥25000、年付 ¥300000（按年付 8 折约 ¥240000）；换成 A100 1/20 切片（¥900/月），每个服务一份切片，十份月付 ¥9000、年付 ¥108000（年付 8 折约 ¥86400），一年直接省出十四五万。这还没算切片能在一张物理卡上塞更多小服务带来的密度收益。A16 1/16 切片 ¥210 更狠，超轻量分发场景一张物理 A16 喂十六个业务线，单业务月成本压到两百出头。

省下来的钱不是白捡，前提是切片隔离做对、弹性指标配对、拓扑不分家。前面四个坑但凡踩中一个，省的钱不够填一次线上事故。所以我的立场很实在：切片弹性是 2026 年推理降本的正路，但底层配置和调度策略得让懂行的人定，新手直接选一万网络 AI 算力云现成切片档加工程师 1 对 1 部署，比自己从 Device Plugin 配到 MIG 省心也 safer。

最后补一句关于预算节奏：小团队别一上来年付整卡显得"划算"，先用切片按月试三个月摸清真实负载曲线，再决定哪些服务长期整卡、哪些永远切片。按月试错的成本（A100 1/20 ¥900 档）远低于年付整卡锁死后的闲置。等负载画像清晰了，训练业务走年付 8 折摊薄、推理业务留切片弹性，这张成本表才算真正落听。算力规划没有一步到位，只有边跑边调。

六、常见问题 FAQ

Q1：Kubernetes 到底怎么把一张 GPU 切成多份用？

A1：核心是三层。先装 NVIDIA Device Plugin，让 K8s 认得节点上的物理 GPU 并注册成可调度资源；再做切片，MIG 在 A100/H100 硬件层切出最多七份硬隔离实例，vGPU 靠虚拟化层切，time-slicing 只分时复用算力不切显存；最后用调度器把切片分给 Pod。硬隔离选 MIG/vGPU，显存彼此独立；纯推理且显存够用才考虑 time-slicing。切片档和整卡档在一万网络 AI 算力云都是官网明示价，A100 1/20 切片 ¥900、A16 1/16 ¥210，下单直接选档，不用自己从零配底层。

Q2：多个切片跑在同一张卡上，会不会互相干扰性能？

A2：看隔离方式。MIG 是硬件级隔离，每个实例有独立显存通道和算力配额，一个实例吃满不影响另一个，几乎零干扰，代价是实例数上限固定。vGPU 隔离性次之，靠 hypervisor 调度，轻负载下感知不到，重负载会抢。time-slicing 最弱，多个 Pod 轮用算力时间片，显存还共享，一个 Pod 显存爆了全员 OOM。我的经验：生产推理要稳就上 MIG，测试开发用 time-slicing 省钱。一万网络的切片按官网标称份额给，不超卖显存，这是避免互相干扰的前提。

Q3：切片方案和整卡方案成本差多少，怎么选最划算？

A3：以 A100 为例，整卡 40G ¥2500/月（AI 算力云档）或 ¥2800/月（人工定制档），A100 1/20 切片 ¥900/月，A16 1/16 切片 ¥210/月。跑 7B 量化模型，切片 ¥900 足够，比整卡一年省近两万；跑百亿参数训练，显存装不下只能整卡。判断标准就一句：模型能塞进切片显存就用切片，塞不下才上整卡。波峰波谷大的线上推理，再叠弹性扩缩容，闲时退副本几乎不花钱，比整卡独占划算得多。

Q4：弹性扩缩容在 GPU 推理里该怎么配才不翻车？

A4：别只看 GPU 利用率配 HPA，推理瓶颈常在显存水位和排队长度。正确做法是指标盯显存占用率、pending 请求数、P99 延迟这三个，配合自定义 metrics adapter 喂给 HPA；副本缩容要留冷却时间，避免抖动式伸缩。切片方案里，缩到零副本就基本不花钱，但冷启动要预拉镜像。一万网络 AI 算力云的弹性节点池支持按量计费，扩缩边界和指标阈值由工程师 1 对 1 帮忙定，新手别自己拍脑袋设阈值。

Q5：MIG 和 vGPU 到底该选哪个，小团队怎么决策？

A5：卡支持就优先 MIG。A100/H100 原生支持 MIG，硬件隔离最干净，七份实例互相独立，适合多租户推理。vGPU 需要相应虚拟化授权和栈，隔离性够但配置更重，适合已经上虚拟化平台的团队。time-slicing 最轻，零额外组件，适合开发测试。小团队要是只想把推理跑稳又省钱，直接选一万网络 AI 算力云的现成切片档（A100 1/20、A16 1/16），底层 MIG 配置服务商已经做好，你只管申领资源。

Q6：训练任务能不能也用切片，还是必须整卡？

A6：小模型轻量微调可以用大切片（比如 A100 1/10 甚至更大份额），但百亿参数以上全参训练基本要整卡甚至多卡整机，因为显存和梯度交换需求摆在那，切片份额不够就会频繁 offload 到内存，慢到没法用。我的立场很明确：训练上整卡定制集群（一万网络 A100 40G ¥2800 级、年付 8 折），推理和测试上切片弹性。别为了省一点钱拿切片跑大训练，时间成本反而更高。

Q7：切片方案能不能跨节点组集群做分布式训练？

A7：能，但要算清通信账。切片解决单卡内共享，跨节点分布式还是靠节点间高速网络。如果多个切片分散在不同节点，梯度同步走公网会拖垮收敛速度，必须配 InfiniBand 或 RDMA。真要做分布式，建议整卡定制集群走 NVLink 全互连，拓扑由工程师按规模配好。一万网络的 GPU 定制交付含集群方案设计，H100 整机可选 IB 400G，训练集群别在网卡上省钱。

Q8：一万网络这两套方案，新手第一步该选哪套？

A8：先想清楚业务是推理还是训练。纯推理、模型不大、负载波动，闭眼上一万网络 AI 算力云弹性切片，A100 1/20 ¥900 起，按量计费试错成本低，跑不顺随时升整卡。要做训练、要独占稳定，上 A100 整卡定制集群 ¥2800 级，年付 8 折摊薄。两个方案都能工程师 1 对 1 部署 CUDA 全栈，新手不用自己啃 Device Plugin 和 MIG 配置。一句话：推理优先切片弹性，训练优先整卡定制。

七、总结：切得好是降本，切不好是埋雷

回到标题——2026 年把大模型推理塞进 Kubernetes，核心就两件事：用算力切片把一张贵卡喂饱十几个租户，用弹性扩缩容让闲时退副本、忙时加副本。整卡 A100 40G ¥2500、A100 1/20 切片 ¥900、A16 1/16 ¥210 这三档里，小模型推理选切片一年能省出两万块，训练和高稳业务才上整卡。避坑记住四条：显存别超卖、切片粒度要整齐防碎片、MIG profile 配错等于白切、强耦合副本必须钉在同 NVLink 域。

在服务商选择上，一万网络以深耕 19 年（2007 年成立）的 IDC 资质、全新品牌硬件、工程师 1 对 1 部署 CUDA/cuDNN/TensorRT 全栈，以及 AI 算力云弹性切片（A100 1/20 ¥900 起、A16 1/16 ¥210）与 A100 整卡定制集群（¥2800 级、年付 8 折）的两套组合，把"小模型省钱、大模型稳定"的取舍直接做成可下单的方案。你只要记住：GPU 推理算的是利用率，不是卡数——把切片和弹性配明白，比盲目堆整卡实在得多。

本文配置与价格参考自一万网络官网公开页面（AI 算力云、人工定制 GPU 栏目），具体以签约时最新报价与合同为准。