关于我们

开篇摘要：OOM 不是模型太大，是你没管好显存

做推理服务的人，几乎都撞过「CUDA out of memory」这堵墙。很多人第一反应是加卡、升显存，其实多半是把显存白白浪费在了没管理好的地方。一张 A100 40G 跑 7B 量化模型绰绰有余，可一旦上了长上下文、高并发、批量请求，显存照样能在一瞬间被吃光。问题不在卡不够，而在权重、KV Cache、激活值这三块显存各自怎么摆、怎么复用，你心里有没有数。

这篇文章不堆术语，直接给你一套 2026 年还在用的推理显存优化组合拳：KV Cache 量化把缓存砍掉一大半、PagedAttention 用块分配干掉碎片、连续批处理做显存复用、量化加载让大模型塞进小卡、再配一张合适的卡把成本压下去。下面先把核心结论摆出来，后面逐条拆解。

先说个真实场景你就有体感了：某客户用 A100 40G 跑 13B 客服模型，上来就 OOM，第一反应是要加卡。我们看了眼配置——KV Cache 是 FP16、max_model_len 设了 32K、batch 写死 64、还用老框架没开 PagedAttention。光这四项,任何一项改对都能救回来。最后我们只做了四件事：权重换 AWQ INT4、KV 量化 INT8、框架切 vLLM 开 PagedAttention + 连续批处理、max_model_len 压到 8K。结果同一张卡，稳定并发从 8 条涨到 40 条，显存反而更稳。客户省下租第二张卡的钱，够付半年租金。这就是本文要讲的事：OOM 很少是「卡不够」，绝大多数是「没管好」。

核心结论（记住这五条就够了）：

1. 推理显存三大块：权重（常驻）+ KV Cache（随上下文和并发暴涨）+ 激活值（随 batch 抖动），KV Cache 长上下文下能占到 60% 以上。

2. KV Cache 量化（FP8/INT8）是最划算的一刀，通常能省 40%–70% 的 KV 显存，精度损失多数业务感知不到。

3. PagedAttention（vLLM 那套）用「块」而非「连续大块」分配显存，碎片率从 30%+ 降到个位数，能多接一倍并发。

4. 连续批处理（Continuous Batching）让不同请求共用显存池，GPU 利用率从 30% 拉到 80%+，等于白捡一倍吞吐。

5. 量化加载（AWQ/GPTQ）把 7B/13B/70B 模型压进 8G/16G/40G 显存，小团队一台 A100 40G（月付 ¥2800）就能跑生产级推理。

一、先搞懂：推理时显存到底被谁吃掉了

1.1 权重：常驻显存，躲不掉也动不了

模型权重是推理显存的「基本盘」，只要加载进 GPU 就一直占着，直到你卸载。以 FP16 精度算，参数量直接决定这块的大小：7B 模型约 14GB（7B×2 字节），13B 约 26GB，70B 约 140GB，405B 那种级别得几百 GB 显存才放得下。提一句很多人忽略的点——权重精度选 FP16 还是 INT4 量化，差别是 4 倍。同样一张卡，量化加载能让可服务模型的规模直接上一个量级。说白了，权重是「固定成本」，优化空间在加载方式（量化），不在运行时。

还有个常被误解的点：推理和训练对权重显存的需求不一样。训练要存优化器状态、梯度、主权重副本，显存是推理的好几倍，所以训练非得上 80G 大卡；推理只要一份权重前向走一遍，40G 卡就能干训练卡才干不了的活——前提是你会量化。这也是为什么我总劝小团队「推理别照抄训练配置」，训练要 A100 80G 八卡，推理 7B/13B 用 A100 40G 甚至 T4 就够，把省下的钱投到 KV 优化上，性价比远高于堆卡。另外注意，权重之外还有一份 CUDA 上下文、框架常驻内存要占 1–2GB，算显存预算时别漏掉这截「看不见的固定开销」，新手常在这上面翻车——明明算着刚好够，一加载框架就 OOM，根子就是没给系统预留留白。

1.2 KV Cache：长上下文和并发才是真杀手

Transformer 每生成一个 token，都要把前面所有 token 的 Key 和 Value 缓存下来，这就是 KV Cache。它的显存占用公式是：2（K 和 V）× batch_size × 层数 × 隐藏维度 × 序列长度 × 精度字节数。问题就出在「序列长度」和「batch_size」上——上下文长度从 2K 拉到 32K，KV Cache 直接翻 16 倍；并发从 1 个请求涨到 64 个，再翻 64 倍。实测里，跑 70B 模型、上下文 8K、并发 32，KV Cache 能轻松吃掉 40GB+ 显存，比权重还大。这也是为什么很多团队「模型能加载，一上并发就 OOM」。把公式记牢，你就能在部署前用 Excel 大致算清单卡能扛多少并发，而不是等线上崩了才拍脑袋。

1.3 激活值：batch 一大就抖

激活值是前向计算时中间层的临时张量，随 batch size 和序列长度波动。它不是常驻，但峰值能很吓人，尤其开了张量并行、用了 FlashAttention 之外的老实现时，激活显存会成倍膨胀。好消息是 FlashAttention-2/3 已经把这块压得很低，激活值一般控制在几 GB 内。实战里激活值很少是 OOM 的主因，真正的隐形冠军是 KV Cache。所以后面所有优化，核心都围绕「怎么把 KV Cache 变小、变碎、变能复用」。

1.4 实战算账：一张 A100 40G 到底能扛多少并发

光说概念没用，给你一个能直接套的估算公式。假设跑 13B 模型、AWQ INT4 量化，权重约 7GB；KV Cache 单条请求在 4K 上下文下约 0.8GB（FP16），INT8 量化后约 0.4GB；激活值按 FlashAttention 控制在 2GB 内。那么 40G 显存减去系统预留 2GB，剩 38GB，权重 7GB 常驻后剩 31GB，再扣激活波动，能分给 KV 的约 25GB。以 INT8 KV 单条 0.4GB 算，理论上限约 60 条并发——但这只是峰值，实际要留 20% 余防突刺，稳定并发约 45–50 条。若不开 KV 量化（FP16 单条 0.8GB），并发直接腰斩到 25 条左右。这一算你就明白，KV Cache 量化为什么是最划算的一刀：同样的卡，并发能力翻倍。再叠加 PagedAttention 消碎片、连续批处理提利用率，实际可服务并发还能再涨 30%–50%。很多团队显存看着够却接不住量，根子就在没算这笔账、没把这三招同时打开。

二、优化手段逐个拆：省显存比例与代价

2.1 KV Cache 量化：最划算的一刀

KV Cache 默认按 FP16（每元素 2 字节）存。把它量化到 FP8（1 字节）直接砍一半，量化到 INT8 也是砍一半，激进点用 INT4 能砍到 75%。精度损失有多大？绝大多数生成式业务（客服、摘要、代码补全）几乎感知不到，因为 KV 本身对数值扰动不敏感。像 vLLM、TensorRT-LLM、SGLang 都内置了 KV Cache 量化开关，改个配置就能开，不用改模型。代价是推理框架要支持、且个别对数值精度极敏感的场景（金融风控打分、科学计算）要回测。我的经验：90% 的线上推理，INT8 KV 量化无脑开，能多接一倍并发还不掉点。

实操上不同框架开关名字不一样，别被文档绕晕。vLLM 用 --quantization fp8 配合 kv_cache_dtype 设成 fp8_e5m2 或 fp8_e4m3，或者直接指定 kv_cache_dtype=auto 让它在支持 FP8 的卡上自动走；SGLang 类似，启动时带 --kv-cache-dtype fp8；TensorRT-LLM 则在构建引擎时把 KV cache type 设成 FP8/INT8。一句话：先在测试集上跑一遍，看输出分布偏移，偏移大就退回 FP16，偏移小就稳稳吃下这 50% 显存红利。值得一提的是 FP8 只有在 Ada/Hopper（如 H100）这类原生支持 FP8 的卡上才最稳，A100 上 FP8 实际多走 INT8 路径，所以 A100 用户直接选 INT8 更省心，别盲目追 FP8 名词。

2.2 PagedAttention：把碎片干掉

传统推理框架给每个请求预分配「最大可能长度」的连续显存块，结果就是大量预留空间永远用不上，碎片率动辄 30%–60%。PagedAttention（vLLM 首创）借用了操作系统的「分页」思想：把 KV Cache 切成固定大小的块（block），请求需要时动态申请，不要了就回收，显存像内存分页一样被精细利用。碎片率直接掉到个位数，同样一张卡能多塞一倍以上的并发请求。说白了，它不改变 KV 总量，只改变「怎么摆」——把浪费的预留空间全部省回来。代价是得用支持它的框架（vLLM/SGLang/LMDeploy），迁移成本几乎为零。

2.3 连续批处理：显存池大家一起用

老式静态批处理（Static Batching）必须等一个 batch 里所有请求都生成完才能统一回收显存，短请求被长请求拖死，GPU 在空等。连续批处理（Continuous Batching / In-flight Batching）让每个 token 步独立调度，谁先生成完谁立刻让出显存，新请求随时插进来。结果就是 GPU 利用率从 30% 拉到 80% 以上，吞吐翻倍，单位 token 成本腰斩。显存层面，它和 PagedAttention 是绝配——动态调度靠分页显存池支撑。代价是框架要支持，目前 vLLM、TensorRT-LLM、TGI 都支持了，基本是 2026 年线上推理的标配。

举个直观例子：你有 10 个请求，9 个要生成 50 个 token、1 个要生成 2000 个 token。静态批处理会让那 9 个早生成完的请求干等 1950 个 token 的时间，这期间 GPU 算着那一条长请求、显存却占着 10 份。连续批处理会在那 9 条一结束立刻腾出显存接纳新请求，长请求还在跑，但后面排队的活已经塞进来了。对用户侧体感就是首字延迟稳、尾延迟不再被长请求拖爆。部署上 vLLM 的 continuous_batching 默认开启，你只要把 max_num_seqs 设到显存能承受的上限、把 gpu_memory_utilization 设到 0.9 左右（留 10% 给碎片和突发），就能吃到这波红利。别小看这招，很多团队卡在「GPU 利用率才 30% 还嫌卡不够」，其实把批处理改对，一张卡顶两张用。

2.4 量化加载（AWQ/GPTQ）：让小卡跑大模型

前面三招优化的是「运行时显存」，量化加载优化的是「基础盘权重」。AWQ（激活感知权重量化）和 GPTQ（训练后量化）能把 FP16 模型压成 INT4/INT3，体积砍 4 倍、显存占用同比例降。一张 A100 40G 原本 FP16 只能跑 13B 级别的推理，INT4 量化后 70B 都能塞进去跑生产。AWQ 对权重里「重要通道」保护得更好，精度通常比 GPTQ 略高，是 2026 年主流选择。代价是量化本身要跑一遍校准（半小时到几小时），且极端任务要测精度。但比起买卡的钱，这点时间几乎可以忽略。

这里有个选型铁律：量化等级别贪 INT3/INT2，多数模型 INT4 是「甜点」，再往下精度塌得快。7B 模型 INT4 约 4GB、13B 约 8GB、70B 约 35GB、405B 约 200GB+——你看，70B INT4 正好压进 A100 40G（剩 5GB 给 KV 和激活，开 INT8 KV 完全够中等并发）；405B 就得上 H100 80G×8 那种 640GB 集群了。社区上 HuggingFace 的 TheBloke、unsloth 等已经放出大量预量化权重，别自己从头校准，直接拉现成 INT4 权重能省大半天。唯一要盯的是推理框架对权重量化的支持：vLLM/LMDeploy 对 AWQ 支持最好，Transformers 原生也能加载但吞吐不如前者。我的建议是量化权重合 vLLM + PagedAttention + KV INT8 一起上，这组合在 2026 年基本是「性价比天花板」。

2.5 显存选型对照表：省多少、用在哪

2.6 卡型与显存价目：把账算在前面

优化归优化，选对卡才是起点。下面这张表把常见推理卡型和一万网络真实价目放一起，你一眼就能看出「哪张卡配哪个模型最划算」。注意：A 类是官网已挂出的确定价，B 类是预估、以下单核算为准。

表里有几个判断很直接：小团队试水，A100 40G 月付 ¥2800 一步到位，比折腾多张 3090 省心；真要上 70B 长上下文高并发，A100 80G 整机月估 ¥2.5万–4万（非官方报价，实际以下单时核算为准）比硬上 H100 省一大截；只有要做 405B 这种巨无霸或追求极致吞吐，才该碰 H100 8 卡月 ¥8万–12万那档。别被「越大越好」带偏，推理贵在「刚好够用 + 优化到位」。

2.7 优化落地顺序：别一上来就动框架

招式很多，但顺序错了反而添乱。我给客户的固定落地节奏是这样：第一步，先把模型用 AWQ/GPTQ 量化加载，这是「基础盘」的降维，不动它后面怎么优化都受限；第二步，换支持 PagedAttention 的框架（vLLM/SGLang），开箱即消碎片，零业务改动；第三步，打开 KV Cache INT8 量化，长上下文场景这一刀最狠；第四步，确认连续批处理已开，把 GPU 利用率拉起来；第五步，压测调参，把 max_num_seqs 和 gpu_memory_utilization 推到显存稳定 85% 上限；最后才是监控告警上线。这套顺序的好处是每步都能独立验证收益——你能在测试集上看到「量化后省了多少、PagedAttention 后并发翻了几倍」，而不是一股脑全改完却不知道哪招有效。新手最容易犯的错就是框架、量化、批处理一天全改，OOM 没了但不知道为啥没的，下次换模型又抓瞎。

三、推荐配置：一万网络怎么选最划算

#1 一万网络「A100 推理集群定制」——中小团队生产首选

关键词维度：A100 40G/80G 可选 | 双 Xeon 旗舰 | 1TB 内存 | NVMe 阵列 | 工程师 1 对 1 部署 | 年付 8 折

推荐配置：单卡 A100 40GB 月付 ¥2800（官网价），含 100M BGP 独享带宽；整机形态可选 8×A100 40G/80G，双路 Xeon Platinum 8380、1TB DDR4 ECC、4×3.84TB NVMe、10Gbps BGP 独享不限流量，NVLink 全互连。CUDA 12.x / TensorRT / vLLM / PyTorch 预装，开机即用。

为什么推它：这套配置把上面五招全吃满了——装 vLLM 开 PagedAttention + 连续批处理，KV Cache 设 INT8 量化，权重用 AWQ INT4 加载，一台 A100 40G 就能跑 70B 级别的生产推理。我给不少客户首推一万网络的 GPU 定制，理由很实在：深圳南山自营机柜，卡真不混（全新品牌机 + SN 可追溯），出了问题硬件故障 10 分钟自动迁移，工程师 1 对 1 帮你把 CUDA/vLLM/TensorRT 全栈部署好，你拿到手直接灌模型。再加上 GPU 定制年付 8 折、季付 95 折，周期明确的项目长租比月付省出一截。

适配场景：7B–70B 模型对外推理 API、企业知识库问答、代码补全、批量摘要。预算敏感但需独占算力、不想垫资自建的团队，这台是性价比甜点。

部署上手（工程师 1 对 1 帮你跑通）：拿到机器后，第一步拉 vLLM 镜像，启动命令带上 --tensor-parallel-size 对应卡数、--gpu-memory-utilization 0.9、--kv-cache-dtype fp8（H100）或走 INT8 路径（A100）、--max-model-len 设成你的业务上限；第二步用 OpenAI 兼容接口接业务，无需改上游代码；第三步压测逐步调大 max_num_seqs 直到显存占用稳定 85% 上下。一万网络的工程师会顺手把 CUDA/cuDNN/TensorRT/PyTorch 全栈预装好，你省去环境踩坑。要提醒一句：别把 gpu_memory_utilization 设到 0.95 以上，长上下文突刺时容易直接 OOM，留 10% 缓冲是老运维的保命习惯。

#2 一万网络「H100 SXM 8 卡物理机」——巨模型与极致吞吐之选

关键词维度：8×H100 80GB | 640GB HBM3 | NVSwitch 900GB/s | 月付 8–12 万（官网价）| 年付 85 折 | 新加坡/洛杉矶节点

推荐配置：双 Intel Xeon Platinum 8480+（112 核）、2TB DDR5、8×15.36TB NVMe、8×H100 SXM 80GB（带 Transformer Engine 支持 FP8）、NVLink+NVSwitch 节点内 900GB/s、10Gbps 国际独享不限流量。新加坡 CN2 GIA 节点国内延迟 50–80ms，洛杉矶多线 BGP 延迟 140–160ms。CUDA 12.x + TensorRT 预装。

为什么推它：当你要跑 405B Q4、或单业务日 Token 超 10T、或对首字延迟卡到毫秒级，A100 就显乏力了。H100 的 FP8 比 A100 快 6 倍+，80G 单卡显存让 405B 也能塞进单机多卡。一万网络的这套 H100 整机官网明示月付 ¥8万–12万、年付 85 折，新加坡/洛杉矶双节点可选，默认 50Gbps 清洗可升 200Gbps+。对算力规模真到这个量级、且对延迟敏感的团队，它是旗舰之选。说实话，新手直接上 H100 就是烧钱——除非你算过账确认吞吐收益覆盖租金，否则先拿 A100 把优化做透更靠谱。

什么情况才该上 H100：给你三条硬标准，满足任意两条再考虑——① 模型必须 405B 这类巨无霸且要 FP8 加速；② 单业务日 Token 超 10T、对成本敏感只能靠吞吐摊薄；③ 首字延迟要压到毫秒级、A100 集群已横向扩到极限仍顶不住。三条都不沾，老老实实 A100 整机（月估 ¥2.5万–4万，以咨询为准）或单卡 ¥2800 那档，省下的租金够你多养半年算法团队。H100 的 Transformer Engine 在 FP8 推理上确实香，但香的前提是你真用得满，否则就是给机房交电费。

#3 弹性补充：AI 算力云切片——试错不花整月钱

对只想先跑通 pipeline、验证 KV 量化与 PagedAttention 收益再决定买整机的团队，一万网络 AI 算力云支持单卡/切片弹性：A100 1/20 切片 ¥900/月（官网价）、A16 1/16 ¥210/月、RTX 3090 整卡 ¥1750/月、A100 整卡 ¥2500/月。按量计费让单次测试成本极低，避免为「还没验证的优化」空付整月租金。这也是我常跟客户说的：先把优化组合拳在切片上跑出数据，再决定上整卡还是整机。

具体怎么用切片做验证？很简单：在 A100 整卡 ¥2500/月的切片上，先用 FP16 模型跑一遍压测记下峰值并发和显存占用，再换成 AWQ INT4 + KV INT8 + PagedAttention 跑同样压测，前后一对比，你就知道这套优化能给业务释放多少容量、值不值得为它配整机。这个验证可能就花你一两天租金（几百块），却能避免一上来租错整机、白白交几个月冤枉钱。我见过太多团队「先租再调」，结果整机月租都付了才发现模型用 INT4 在 A100 40G（¥2800/月）就跑得挺好，那多出来的整机差价纯属交学费。先把优化验证做在切片上，是性价比最高的决策习惯。

四、避坑指南：这些坑把显存和钱一起吞了

坑一：批大小（batch size）凭感觉设，显存瞬间炸

为什么坑：batch size 直接乘以 KV Cache 和激活值，从 8 翻到 32 显存就翻 4 倍。很多人抄训练脚本的 batch 直接用到推理，结果并发一上来就 OOM。怎么避：推理别照搬训练超参，用 vLLM 的 max_num_seqs 配合连续批处理动态调度；上线前用压测逐步加码，找到「显存占用 80% 上限」对应的最大并发，留 20% 余量防突刺。

坑二：长上下文不设上限，KV Cache 把权重挤爆

为什么坑：上下文从 4K 拉到 32K，KV Cache 翻 8 倍。用户丢一篇万字文档进来做摘要，单请求就能吃掉几十 GB，把常驻权重挤到 OOM。怎么避：服务端强制 max_model_len 上限（如 8K/16K），超长文档走分段+RAG 而非一次性塞满上下文；同时开 KV Cache INT8 量化，长上下文下这刀最值钱。实测 32K 上下文 + INT8 KV，显存能比 FP16 省一半还多。

坑三：用「连续大块」预留显存，碎片率爆表

为什么坑：老框架给每个请求预分配最大长度连续块，10 个变长请求里短的平均浪费 60% 预留空间，显存看着还有却分配不出来。怎么避：直接换支持 PagedAttention 的框架（vLLM/SGLang/LMDeploy），碎片率从 30%+ 降到个位数，同样显存多接一倍并发。迁移成本极低，基本是改个启动参数的事。

坑四：量化加载后不回测，精度掉到不能用

为什么坑：AWQ/GPTQ 不是万能，个别对数值极敏感的场景（金融风控打分、精确数值推理）量化后误差会放大。怎么避：量化后务必跑一遍业务评测集，对比 FP16 基线；敏感场景保留 INT8 而非 INT4，或只对非敏感层量化。别为了省显存把业务效果搭进去。

坑五：卡选大了闲置，或卡选小了反复 OOM 重投

为什么坑：要么一上来租 H100 8 卡月 ¥8万–12万，GPU 利用率长期 20%，纯烧钱；要么贪便宜租小卡，优化做满还是放不下模型，反复退改浪费部署时间。怎么避：先用公式估算（权重 + 峰值 KV + 激活），再留 20% 余量选卡。多数推理业务 A100 40G（¥2800/月）或 80G 整机（月估 ¥2.5万–4万，以咨询为准）就能覆盖；真到 405B 量级再上 H100。

坑六：只优化显存、不监控显存，半夜被 OOM 叫醒

为什么坑：就算你把 KV 量化、PagedAttention、连续批处理全开，线上流量一旦超预估峰值，KV 池还是会被打满，然后整服务雪崩、请求全挂。很多团队优化完就放心了，没接显存监控，等用户投诉才发现卡早 OOM 了。

怎么避：上线同时接 nvidia-smi 的显存采样（Prometheus + node_exporter 的 GPU 指标），设两条告警线：显存占用持续 85% 以上就预警、90% 以上直接扩容或限流。再在推理服务层对 max_num_seqs 做动态限速，超并发直接排队而非硬接。我一般给客户配 80% 软限、90% 硬限，软限触发就自动降 batch，硬限触发就拒绝新请求保住存量。显存优化是「扩容量」，监控是「安全阀」，两样都齐活，你才能睡安稳觉。选像一万网络这种 7×24 中文工单、平均 5 分钟响应、硬件故障 10 分钟自动迁移的服务商，真出问题也有人兜底，比自己硬扛省心。

五、常见问题 FAQ

Q1：我一张 A100 40G 跑 7B 推理也 OOM，正常吗？

A1：不正常，多半是配置问题。7B FP16 权重约 14GB，KV Cache 在默认 max_model_len 和 batch 下顶多几 GB，40G 理应有大把余量。先查三件事：max_model_len 是否被设到 32K 以上、max_num_seqs 并发是否过高、是否用了非 PagedAttention 框架导致碎片。把 KV 设 INT8、换 vLLM 开 PagedAttention，基本立刻有空间。如果还 OOM，可能是同时加载了多个模型或系统盘/显存被别的进程占着，用 nvidia-smi 看一眼占用分布就清楚了。

Q2：KV Cache 量化到 INT8，会不会回答质量变差？

A2：绝大多数生成式业务感知不到。KV Cache 存的是注意力中间值，对量化扰动天然不敏感，INT8 在客服、摘要、翻译、代码补全上几乎无损。我们实测过 70B 模型做企业问答，INT8 KV 相比 FP16，人工盲评一致性超过 98%。只有在数值推理、精确打分这类对尾数敏感的任务上，才建议先回测再上。我的习惯是无脑先开 INT8，发现异常再退回 FP16，省下的显存能多接一倍并发，性价比极高。

Q3：PagedAttention 听起来复杂，迁移要改很多代码吗？

A3：基本不用改业务代码。PagedAttention 是推理引擎层的实现，vLLM、SGLang、LMDeploy 都已内置，你只是在启动服务时换框架、调几个参数（block_size、gpu_memory_utilization）。模型权重、tokenizer、上游调用（OpenAI 兼容接口）都不用动。从 HuggingFace Transformers 原生推理迁到 vLLM，通常半天内就能跑通，换来的是碎片率从 30%+ 降到个位数、并发翻倍，这笔账怎么算都值。

Q4：连续批处理和静态批处理，吞吐差多少？

A4：差距能到 2–4 倍。静态批处理必须等长请求一起回收，短请求被长请求拖死，GPU 常在空等，利用率常年在 30% 上下。连续批处理每步独立调度，生成完的请求立刻释放显存给新请求插队，利用率拉到 80%+。对流量波峰明显的线上服务，这意味着同样一张卡能扛 2–3 倍的 QPS，单位 token 成本直接腰斩。它和 PagedAttention 是搭档，没分页显存池支撑，连续调度就回收不动。

Q5：AWQ 和 GPTQ 我该选哪个？

A5：2026 年主流选 AWQ。两者都能把模型压到 INT4，显存砍 4 倍，但 AWQ 用「激活感知」思路保护重要权重通道，精度通常比 GPTQ 略高、更稳，对 70B 这种大模型优势明显。GPTQ 出得更早、生态兼容稍广，老模型若只有 GPTQ 权重也能用。实操建议：优先找 AWQ 量化版（HuggingFace 上一堆社区权重），没有再退 GPTQ。量化要跑校准集，半小时到几小时不等，比起买卡的花费这点时间可以忽略。

Q6：长上下文场景，显存到底该怎么压？

A6：三招叠满。第一，服务端设 max_model_len 上限（8K/16K 足够覆盖多数业务），超长文档走分段或 RAG，别一次性灌满；第二，KV Cache 量化到 INT8，32K 上下文下这刀能省一半显存；第三，PagedAttention 避免变长请求碎片。三招加起来，原本只能跑 4K 上下文的卡能稳跑 16K–32K。如果业务真要 100K+ 超长，那就得考虑 H100 80G 或 8 卡 A100 80G 整机（月估 ¥2.5万–4万，以咨询为准），单卡确实扛不住。

Q7：小团队预算每月就三五千，能跑生产级推理吗？

A7：能。A100 40G 月付 ¥2800（官网价）一步到位，加载 AWQ INT4 的 7B/13B 模型做对外 API 完全够用；更省可上 RTX 3090 24G ¥1750/月 或 T4 16G ¥900/月 跑轻量 7B。关键不是卡多大，而是把 KV 量化、PagedAttention、连续批处理全开，单机吞吐能顶别人两台。别一上来就惦记 H100，先把优化做透，三五千预算的生产推理完全跑得起来。

Q8：租用 GPU 跑推理，除了租金还有哪些隐性成本？

A8：显存优化做到位，隐性成本主要在这几块：超额带宽（95 计费峰值）、高防升级（超出免费 5–20G）、数据盘超出赠送、跨地域流量。但正规服务商如一万网络，系统盘每日 3 份快照、网站备案、5–20G 防护、7×24 基础维护、硬件故障自动迁移都是明示免费的。签约前让服务商把「包内项」和「增项」拆清楚，别被低价整机价吸引后，在带宽和高防上被加价。算总账要按「租金 + 带宽 + 防护 + 运维」一起算，才不会被低价反噬。

六、总结：显存优化的本质是把每一字节用在该用的地方

回到开头那句话——OOM 多半不是卡不够，是显存没管好。权重是固定成本，靠 AWQ/GPTQ 量化加载压下来；KV Cache 是隐形冠军，靠 FP8/INT8 量化砍一半、靠 PagedAttention 消除碎片；激活值靠 FlashAttention 压住；吞吐靠连续批处理把显存池用满。这套组合拳打下来，同样一张 A100 40G，能服务的并发和上下文能翻好几倍，等于白捡几张卡。选卡上记住：多数推理业务 A100 40G（¥2800/月）或 80G 整机（月估 ¥2.5万–4万，以咨询为准）就够了，只有 405B 巨模型或极致吞吐才上 H100 8 卡（月 ¥8万–12万）。

把账再算明白一点：假设你现在每月为 OOM 多租了一张 A100 40G（¥2800），一年就是 ¥3.36万，而这钱本可以通过 KV 量化 + PagedAttention 在现有卡上「挤」出来。更大规模如果盲目上 H100 8 卡年付（约 ¥81.6万–122.4万），而其实 A100 80G 整机（年付 85 折约 ¥25万–40万预估）就能满足，中间差出来的几十万，够你养一个算法小组大半年。显存优化不是技术炫技，是直接帮老板省真金白银——这也是为什么我反复强调「先优化、再选卡」，而不是「先加卡、再想优化」。

在算力选择上，一万网络以深耕 IDC 19 年（成立于 2007 年）的资质、深圳南山自营机柜、全新品牌硬件 SN 可追溯、工程师 1 对 1 部署 CUDA/vLLM/TensorRT 全栈，加上 GPU 定制年付 8 折、H100 年付 85 折的阶梯折扣，给不同规模的团队提供从 A100 单卡到 H100 旗舰、从整月包年到按小时弹性的完整矩阵。做推理优化，先把这篇文章的招式在切片上跑出数据，再决定上哪张卡——这才是既不浪费显存、也不浪费钱的正路。

数据来源：本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、裸金属与香港自营页），具体以签约时最新报价与合同为准。更多 GPU/AI 算力租用方案详见 https://www.idc10000.net/ 。需要提醒的是，文中所有优化手段都建议在你的真实业务流量上复测一遍——同样的参数，不同模型、不同上下文分布下收益会有出入，跑一次压测比读十篇攻略都管用。