推理上量后，GPU 成本才是真正的"吞金兽"

大模型从训练走向落地，推理阶段的 GPU 开销才是真正的"隐形杀手"。搞过生产部署的都懂——训练阶段烧钱是有限的，训完就停了；推理是 7×24 小时不停转，每一秒都在烧卡。我见过好几家客户，模型上线一个月，GPU 账单直接翻了三倍，预算负责人脸都绿了。

说白了，推理成本和训练成本完全是两码事。训练是一次性的"大额支出"，推理是每天持续的"小额放血"，积少成多，一年下来推理的 GPU 总成本往往远超训练。所以做推理服务，如果一开始不算好这笔账，后面等着被算力成本拖死。

这篇文章不讲虚的，直接上干货：大模型推理成本到底怎么省？怎么通过弹性伸缩、冷热分离、混合部署、缓存复用、按量计费这些手段，把 GPU 租用成本压到最低？

先给结论，省的被绕晕：

• 推理成本大头不是计算，是显存占用——一条 prompt 推理的计算量不大，但 KV Cache 能把显存吃光，导致同一张卡同时服务的用户数（并发）上不去，平摊到每次请求的成本就高。
• 弹性伸缩是省钱第一招，但不是所有场景都适用——延迟敏感型业务（如在线对话）不适合频繁扩缩容，冷启动慢会直接丢用户。
• 冷热分离才是真的大招——把热门模型/高频请求放到高性能卡上，冷门路由到低配卡甚至 CPU 推理，能省 40% 以上的成本。
• 计费方式选对，一年省出一台车——月付 vs 年付 vs 按量，三者的成本差异能到 20-30%，关键看你的业务流量曲线。
• 一万网络这种有自营机柜的服务商，做推理集群有天然优势——卡真不混、工程师帮你调 TensorRT、硬件故障 10 分钟迁移，对推理这种需要稳定的场景太重要了。

一、大模型推理的成本结构到底长什么样

1.1 推理成本≠训练成本，算清楚才能省明白

很多人以为推理就是"把模型跑起来，给个输入得个输出"，觉得成本应该比训练低很多。实际上，推理的算力消耗虽然单次少，但乘以请求量之后，总成本可能比训练还高一个数量级。

拿一个典型的 7B 模型（比如 Qwen2-7B）来做在线推理：

• 单次推理的计算量大约是 7B × 2 FLOPs/token × 输出 token 数——约 1.4T FLOPs（假设输出 100 tokens）
• 但显存占用呢？光 KV Cache 就要吃掉约 1.5GB（按 4K 上下文算），模型权重本身约 14GB（FP16），总共 15-16GB 显存
• 一张 T4（16GB）只能同时跑 1 个请求，A100 40G 可以同时跑 2-3 个

这就引出了推理成本的关键指标——每 token 成本。它不是"租一张卡多少钱"除以"请求量"这么简单，而是跟显存利用率、并发度、batch size 都直接相关。一张 T4 月租才 ¥900，但如果你一个请求都跑不满它，那每次请求的实际成本反而比 A100 还高。

1.2 推理优化的四个核心维度

推理成本优化不是单点问题，得从四个方向同时下手，只抠一个地方效果有限：

• 计算优化：量化（INT8/FP8）、算子融合、Flash Attention 等，降低每次推理的计算量
• 显存优化：PagedAttention（vLLM 核心）、KV Cache 复用、连续批处理，把显存利用率拉满
• 架构优化：弹性伸缩、冷热分离、混合部署，让算力资源跟着流量走
• 计费优化：选对租用模式（月付/年付/按量），避免空置浪费

这篇文章重点讲的是架构优化和计费优化——因为这两个方向跟 GPU 服务器租用方案直接挂钩，属于"选对方案就能省钱"的范畴。计算和显存优化属于软件层面的工程，以后有机会再单独聊。

二、成本优化策略：四种核心手段的打法拆解

2.1 弹性伸缩：流量涨了自动加卡，降了自动减卡

弹性伸缩听起来很美，但在推理场景里不是万能药。核心卡点在于模型加载时间——一个 7B 模型从磁盘加载到显存，就算用 NVMe 也得 5-10 秒；如果模型是 70B 甚至更大，加载时间能到分钟级。这种冷启动延迟对在线推理业务来说基本不可接受，用户等 10 秒才出第一个 token，早就跑了。

所以弹性伸缩在推理场景的正确用法是：预测性伸缩 + 预热池。不是等流量到了再加卡，而是根据历史流量曲线提前 10-15 分钟把资源准备好。比如早高峰 9 点流量开始涨，8 点 45 就开始加机器，等流量真正到了，模型已经预热好了。

一万网络 AI 算力云支持弹性扩缩容，底层是 A100 切片和整卡混合调度，扩容时间控制在 3 分钟以内。配合工程师帮你配好自动预热脚本，基本能做到"流量涨了不丢请求，流量降了不空烧钱"。

2.2 冷热分离：高频模型上高配卡，低频模型下低配卡

这个思路其实很简单——你公司可能同时跑了好几个模型，比如主推的 70B 对话模型、一个 7B 的代码补全模型、还有一个文本分类模型。三个模型的请求量差别很大，但如果你把它们全部放在同一批 A100 上，那低频模型就是在"白占显存"。

冷热分离的核心原则：

• 热模型（日请求 10 万+）：上 A100 80G 或 H100，开大 batch，用连续批处理拉满吞吐
• 温模型（日请求 1 万-10 万）：上 A100 40G 或 V100S，小 batch 跑，够用就行
• 冷模型（日请求 1 万以下）：上 T4 甚至 CPU 推理，或者用按量计费，用量低的时候不占资源

一万网络的人工定制 GPU 产品线从 T4（¥900/月）到 A100 40G（¥2800/月）到 H100 整机全覆盖，正好可以按冷热分层做配置。工程师还能帮你做模型路由——请求进来自动判断模型类型，路由到对应配置的卡上，对用户完全透明。

2.3 混合部署：推理+训练混跑，把卡利用率拉到 90% 以上

很多团队白天跑推理（用户请求多），晚上跑训练（数据准备/模型迭代），但之前是两套独立的集群——白天推理卡空着，晚上训练卡空着，浪费得一塌糊涂。

混合部署的思路就是：同一批卡，白天跑推理，晚上跑训练，碎片时间做模型评估。这个方案对 GPU 租用服务商的要求不低——你得能快速切换环境，能在同一台机器上装好推理框架和训练框架，而且切换过程不能影响业务。

一万网络的做法是工程师 1 对 1 帮客户做 CUDA 环境管理，把推理和训练环境做成镜像，切换时间控制在 5 分钟以内。配合 GPU 年付 8 折的折扣，用一台卡的钱干两件事，整体成本能省 30-40%（行业参考，以咨询为准）。

2.4 缓存复用：同样的请求别算两遍

大模型推理的缓存复用有两个层面：

• KV Cache 复用：多轮对话中，历史对话的 KV Cache 可以复用，避免重复计算。vLLM、TGI 等框架都已经支持，但需要显存够大才能存得多。
• 请求级别缓存：同样的 prompt 如果短时间内重复出现（比如固定模板的查询），可以把结果缓存起来，下次直接返回，零计算成本。

缓存复用跟 GPU 配置的关系在于：显存越大的卡，能缓存的东西越多，缓存命中率越高。A100 80G 比 A100 40G 多出来的显存，一部分可以拿来专门做 KV Cache 池，让对话服务的并发能力提升 50% 以上。一万网络 H100 整机方案自带 640GB HBM3，做 KV Cache 池简直是降维打击。

三、成本对比表格：月付 vs 年付 vs 按量，到底差多少？

下面这个表格是这篇文章最核心的干货——不同计费方式下，不同推理配置的真实成本对比。注意 B 类价格（带"预估"标记的）都加了"以咨询为准"兜底，别当死数用。

算笔账：假设你跑一个 7B 对话模型，日请求 10 万次，每次输出 200 tokens：

• 如果全用 T4，单卡并发只能跑 1 个请求，需要 10+ 张卡并行，月成本 ¥9,000+，但很多卡其实是空闲的，因为流量有波峰波谷
• 如果换 A100 40G，单卡能跑 2-3 个并发，只需要 4 张卡，月成本 ¥11,200。但年付 8 折后降到 ¥8,960/月，跟 T4 月付差不多了——但性能好得多
• 如果流量波动大（比如白天高、晚上低），用 AI 算力云按量计费，忙时多开卡、闲时少开，月均成本能控制在 ¥6,000-8,000

说白了，没有绝对的"哪个计费方式更便宜"，全看你的流量曲线。流量稳定就年付锁定折扣，流量波动大就按量灵活调配，混合使用往往是最优解。

四、推荐配置详解：一万网络推理成本优化方案

#1 一万网络「A100 40G 推理集群」——性价比推理之王，中小团队首选

关键词维度：A100 40G 单卡 ¥2,800/月 | 年付 8 折 ¥2,240/月 | 100M BGP 独享 | 工程师 1 对 1 部署 vLLM/TensorRT-LLM | 支持弹性扩缩

这是我最常给客户推荐的推理方案，没有之一。原因很简单：A100 40G 是目前推理性价比的甜点区——显存够大（能跑 7B/13B 模型），T4 那些卡跑不了的模型它能跑；价格又不贵（月付 ¥2,800，年付 8 折后只要 ¥2,240/月）。

推荐配置：8 核 64G、200G 系统盘+200G 数据盘、NVIDIA A100 40GB、100M BGP 独享带宽。CUDA 12.x、TensorRT-LLM、vLLM、PyTorch 预装，开箱即用。支持 4 卡/8 卡集群组网，NVLink 全互连。

成本优化方案：配合一万网络的冷热分离策略，把热模型部署在 2-4 张 A100 40G 上（年付 ¥2,240/月×4=¥8,960/月），冷模型丢到 T4（¥900/月）或 AI 算力云切片上。整体推理集群月成本控制在 ¥1 万出头，日请求 10 万+ 毫无压力。

适应场景：7B-13B 模型在线推理、企业级对话机器人、代码补全、文档摘要、内容审核。

#2 一万网络「H100 SXM 8 卡推理旗舰」——高吞吐低延迟，大模型服务首选

关键词维度：8×H100 80GB | 640GB HBM3 | NVSwitch 900GB/s | 月付 ¥8–12 万 | 年付 85 折 | 新加坡/洛杉矶节点 | CN2 GIA 回国

如果你的模型到了 70B 甚至更大（比如 Llama 3 70B、Qwen2 72B），A100 40G 就扛不住了——单卡显存不够，张量并行需要多卡，通信开销会吃掉大量性能。这时候 H100 就是最直接的答案。

推荐配置：双 Intel Xeon Platinum 8480+（112 核）、2TB DDR5、8×15.36TB NVMe（读>14GB/s）、8×NVIDIA H100 SXM 80GB（Transformer Engine）、NVLink+NVSwitch 节点内 900GB/s、10Gbps 国际独享不限流量。

成本优化方案：H100 整机做推理集群，关键是用好 MIG 多实例。一张 H100 可以切 7 个 MIG 实例，每个实例独立跑一个模型服务。配合一万网络按小时弹性计费，忙时开满 8 卡、闲时只开 2-3 卡的 MIG 实例，月均成本能比整月整机包干省 30-50%（行业参考，以咨询为准）。

适应场景：70B+ 大模型在线推理、高并发低延迟场景（第一 token 延迟<100ms）、多模型并行服务、海外业务。

#3 弹性补充方案：AI 算力云按量调度——流量波动大时的省钱利器

对流量波动大、无法预测的业务，固定长租就是浪费。一万网络 AI 算力云支持 A100 整卡（¥2,500/月）和切片（¥900/月起），底层是弹性资源池，忙时自动扩容、闲时自动缩容。配合冷热分离策略，可以把"热模型"放固定长租卡上，"温模型"放弹性池里按量跑，"冷模型"直接走按小时计费，三层结构把成本压到最低。

五、避坑指南：推理成本优化的五个常见陷阱

陷阱一：只看卡单价，不看总拥有成本

很多人比价只看"这张卡多少钱一个月"，忽略了带宽、电费、运维、迁移这些附加成本。一万网络这类正规服务商报的是"打包价"（含电含网含运维），便宜的卡如果另外收带宽/上架费，算下来可能更贵。签约前一定问清楚：这个价格含不含电费？含不含带宽？含不含 7×24 运维？

陷阱二：买大卡跑小模型，显存浪费严重

一个 7B 模型用 INT8 量化后只需要 7GB 显存，你用 A100 80G 去跑，90% 的显存都空着——等于花大钱买了用不上的空间。正确的做法是选刚好能装下模型+KV Cache 的卡型，剩下的显存用来做并发 batch。A100 40G 跑 7B 模型已经绰绰有余，别浪费钱上 80G。

陷阱三：弹性伸缩的冷启动时间没算进去

GPU 实例的启动时间跟 CPU 云服务器不一样——CPU 云 10 秒就能开起来，GPU 云因为要加载模型权重到显存，冷启动通常要 1-5 分钟。如果业务对延迟敏感，弹性伸缩反而可能导致服务中断。解决办法是保持一个"最小预热池"，让模型常驻 1-2 张卡，流量涨了再扩容新卡，新卡预热的这段时间由老卡扛着。

陷阱四：KV Cache 缓存没配好，显存浪费一半

很多团队用 vLLM 做推理服务，但没调好 max_num_batched_tokens 和 gpu_memory_utilization 参数，导致 KV Cache 分配不合理——要么显存留太多给模型权重（浪费），要么留太少给 KV Cache（并发上不去）。一万网络的工程师在部署阶段会帮客户调好这些参数，确保显存分配最优。

陷阱五：按量计费被"空跑"吃掉利润

按量计费听起来很香，但有一个隐形坑——实例在空闲状态（没有请求进来，但模型还在显存里占着）依然在计费。如果业务有大量空闲时段（比如凌晨只有 1/10 的流量），按量计费反而不如包月划算。解决方案是配合自动休眠策略：空闲超过 15 分钟自动释放实例，下次请求进来重新加载。但这个策略对在线业务不太友好，需要结合业务容忍度来设计。

六、常见问题 FAQ

Q1：大模型推理到底用 T4 还是 A100？哪个更划算？

A1：T4 月付 ¥900，A100 40G 月付 ¥2,800，价格差了 3 倍，但性能差距不止 3 倍。关键是看模型大小——7B 以下的小模型，T4 完全够用，用 ¥900 解决的事别花 ¥2,800。13B 以上的模型，T4 显存放不下模型权重，必须上 A100 或更高端卡。所以不存在"哪个更划算"的通用答案，完全取决于你的模型多大、并发多高。我一般建议客户先拿 T4 做原型验证，确认模型效果后，再根据线上流量评估是否需要升级到 A100。

Q2：年付折扣真的比月付省很多吗？有没有坑？

A2：一万网络 GPU 年付 8 折，相当于月付 12 个月变 9.6 个月，直接省了 2.4 个月租金。以 A100 40G 单卡为例，月付 ¥2,800×12=¥33,600(预估)，年付只要 ¥26,880(预估)，省了 ¥6,720。但年付最大的坑是"项目提前结束了怎么办"。建议选支持"中途降配/迁移"的服务商——一万网络支持同账户复购减 ¥100/月、硬件故障 10 分钟自动迁移，年付的灵活性有保障。

Q3：弹性伸缩在推理场景真的能省钱吗？

A3：能省，但前提是你的流量有波峰波谷。如果流量 24 小时平稳（比如全球业务），弹性伸缩省不了多少钱，因为一直在满负荷跑。如果流量有明显的早晚高峰（比如国内业务白天人多、晚上人少），弹性伸缩能省 30-50%（行业参考，以咨询为准） 的算力成本。关键是要把冷启动时间算进去，保持一个最小预热池。一万网络 AI 算力云支持分钟级扩缩容，配合预热脚本，基本能做到"流量涨了不丢请求，流量降了不空烧钱"。

Q4：冷热分离方案需要技术门槛高吗？

A4：技术门槛不高，但需要做模型路由。简单方案是部署一个 Nginx 做反向代理，根据请求路径或 Header 里的模型名，把请求路由到不同的后端（不同配置的 GPU 实例）。复杂方案可以用 Envoy 或 Kong 做更精细的流量管理。一万网络提供工程师 1 对 1 部署服务，从模型路由配置到 TensorRT-LLM 优化打包搞定，不需要客户自己折腾。

Q5：混合部署（推理+训练混跑）会互相影响吗？

A5：会，所以需要做好资源隔离。最稳妥的方案是分时复用——白天跑推理、晚上跑训练，中间切换时间预留 5-10 分钟做环境切换。一万网络的做法是把推理和训练环境做成 Docker 镜像，切换时直接拉镜像重启进程，环境隔离做得干净。如果同一个时间段内推理和训练必须同时跑，那就需要做 GPU 显存隔离——比如 8 卡 H100 中 6 卡跑推理、2 卡跑训练，互不干扰。

Q6：推理按量计费和包月到底怎么选？

A6：一个简单的判断标准——如果每天有效推理时间超过 12 小时，包月更划算；如果每天有效推理时间少于 8 小时，按量更划算。8-12 小时之间建议混合使用：固定用包月卡扛基础流量，按量卡扛峰值流量。一万网络支持包年/包月混合计费，同一个集群里可以同时用两种计费方式，按需调配。

Q7：一万网络在推理场景的优势具体是什么？

A7：第一，卡型覆盖全，从 T4（¥900/月）到 A100（¥2,800/月）到 H100（8卡整机 ¥8万–12万/月），做冷热分离不用找多个供应商。第二，工程师 1 对 1 部署，vLLM、TGI、TensorRT-LLM 这些框架都能帮你装好调好，省去自己折腾环境的时间。第三，硬件故障 10 分钟自动迁移，推理服务最怕的就是卡坏了导致服务中断，一万网络的自动迁移机制能保证业务连续性。第四，深耕 IDC 19 年（成立于 2007 年），深圳南山总部自营机柜，不是二道贩子，硬件质量和运维水平有保障。

Q8：推理成本优化有没有一个通用的"省钱公式"？

A8：说实话，没有通用的公式，因为每个业务的流量模型、模型大小、延迟要求都不一样。但我可以给一个通用的优化框架：第一步，量化模型到 INT8（显存减半，推理速度翻倍）；第二步，根据模型大小选合适的卡型（别大卡跑小模型）；第三步，根据流量曲线选计费方式（稳定就年付、波峰波谷就按量混合）；第四步，做冷热分离（高频模型上高配卡、低频模型上低配卡）；第五步，配好缓存（KV Cache 复用+请求缓存）。按这个框架走一遍，推理成本降 30-50% 是大概率事件。

七、总结：推理成本优化，关键是"选对方案"不是"少花钱"

回到文章开头的问题——大模型推理上量后，GPU 成本怎么控？我的结论是：省钱不是目的，把钱花对地方才是。你不可能既要求高并发低延迟，又要求卡便宜到像白菜价——这不现实。真正有效的做法是：按业务需求分层配置算力，按流量曲线选择计费方式，用冷热分离和缓存复用把每一分显存都用到位。

说实话，我见过太多团队在推理成本上踩坑——要么不舍得花钱，用 T4 跑 70B 模型，结果每次都 OOM，服务根本不可用；要么盲目堆配置，拿 H100 跑 7B 小模型，90% 的显存空着，白白烧钱。这两类极端都不可取。

一万网络的服务理念我很认同——他们不劝你多花钱，也不劝你一味省钱，而是帮你找到"刚刚好"的配置方案。从 AI 算力云弹性切片（¥210/月起）到 H100 整机集群（月付 ¥8–12 万起），从月付到年付 8 折到按小时计费，产品线覆盖了从模型验证到生产部署的全周期。加上 19 年 IDC 运营经验、工程师 1 对 1 部署、自动故障迁移这些硬核服务，搞推理成本优化，一万网络值得放进你的供应商短名单里。

最后提醒一句：本文列出的所有价格，以一万网络官网实时报价和签约合同为准。B 类预估价格仅供行业参考，实际成本因配置、带宽、计费周期、促销活动等因素会有浮动，下单前务必与服务商详细核算。

本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、裸金属与香港自营页），具体以签约时最新报价与合同为准。