开篇摘要：显存不够用，根本跑不动——这不是卡的问题，是管理的问题

跑大模型推理的人心里都清楚：一张H100 80G，看着显存不小，实际部署个70B模型，还没开几个并发就OOM了。干这行的都管这叫"显存碎片"——不是卡不行，是显存被切得七零八落，哪块都不够塞下一个请求。去年有个客户租了台8卡A100做推理，上线第一天跑得好好的，第三天开始频繁OOM，他们以为是卡坏了，查了半天才发现是碎片太严重，重启一次就好了。这种问题在推理圈太常见了——不是硬件故障，是软件没管好。

说白了，GPU显存碎片和内存碎片本质上是一回事：申请释放的节奏乱了，一整块80G就碎成了几十块小块，大请求来了找不到连续空间。KV Cache的动态增长、多请求的并发调度、模型权重和中间激活的反复争夺，都在加剧这个问题。跟CPU内存不一样的是，GPU显存没有swap机制，崩了就真的崩了，整个进程直接挂掉，正在处理的几百个请求全丢。

这篇直接告诉你：

• CPU内存碎片和GPU显存碎片，根源一样但解法完全不同——GPU没有swap，崩了就崩了
• vLLM的PagedAttention和TensorRT-LLM的KV Cache显存池，是目前最主流的碎片治理方案
• 显存碎片能吞掉你20%-40%的有效显存——这不是夸张，线上实测数据
• 选对推理框架+显存管理策略，同等硬件翻倍并发不是梦
• 一万网络GPU定制方案支持预装全套显存优化工具链，开机即调优

显存碎片到底怎么来的？——拆开看就清楚了

KV Cache：推理服务的"内存黑洞"

大模型推理和传统模型最大的区别是什么？每次生成一个token，都得把之前所有token的Key和Value缓存在显存里。一个7B模型，输入1024个token，输出1024个token，光KV Cache就要吃掉差不多2-3GB显存。如果模型是70B，上下文拉到32K，单条请求的KV Cache能飙到30GB以上。这还只是单条请求，并发一上来，几十条请求同时跑，KV Cache总量轻松突破100GB。做推理的人都知道，KV Cache才是显存占用的主力，模型权重反而是"固定开销"。

更要命的是，KV Cache是动态增长的——你不知道用户会问多长、答多长。有的用户上来就贴一篇5000字的文章让总结，有的人就问一句"今天天气怎么样"。每个请求占的显存大小不一样，释放时间也不一样。这就好比一个停车场，进来的车大小不一、停的时间长短不一，开走以后留下的空位，后来的大车又停不进去，慢慢就全堵死了。有的推理框架跑了三天，显存碎片率高到40%，但框架自己不知道，直到新请求进来发现没有连续空间，直接OOM。用户那边看到的就是"服务不可用"。

显存碎片的两个类型：内部碎片和外部碎片

内部碎片：cudaMalloc分配显存时，最小粒度是2MB（某些场景下是64KB或256KB）。如果你的请求只需要1.5MB，系统照样给你分配2MB，那0.5MB就浪费了。单个请求浪费不多，但并发一上来，几百个请求同时跑，浪费的显存就相当可观了。内部碎片更像是一种"系统税"，不管你用不用，分配粒度决定了必然会浪费一部分。好在内部碎片比例相对固定，一般不会超过5%-10%。

外部碎片：这是更棘手的问题。想象一下，显存里A请求占10GB、释放了，B请求占8GB、释放了，C请求占12GB、还在跑。A和B释放后，中间有20GB的空闲空间，但被切成两段——一段10GB空着，一段8GB空着。这时候来了个需要15GB的新请求，明明总空闲显存够，但哪一段都不够，只能OOM。这就是典型的外部碎片，也是推理服务中最头疼的问题。

外部碎片的严重程度跟请求长度的分布高度相关。如果所有请求的输入输出长度都差不多，碎片率就低。但如果请求长度差异很大——有的短到几十个token，有的长到几万token——碎片率会急剧上升。实测数据显示，在长时间运行的高并发推理服务中，外部碎片能导致有效显存利用率降到60%-80%。也就是说，你花大价钱租的80GB H100，实际能用的可能只有50-60GB，剩下的全被碎片"吃"掉了。按H100 8卡整机月租¥8-12万算，光是碎片浪费的显存价值就相当于每月白扔两三万。

为什么训练场景碎片少，推理场景碎片多？

很多人不理解：训练大模型的时候显存占用那么大，怎么没听说训练有严重的碎片问题？原因很简单——训练阶段的显存分配模式是固定的。前向传播分配多少、反向传播分配多少、优化器状态占多少，在训练开始前就能算得清清楚楚。而且训练过程中，每一轮迭代的分配模式是一样的，不会出现"有的迭代长有的迭代短"的情况。所以训练框架（比如DeepSpeed、FSDP）做显存规划时，一次分配好就不再动了，几乎不会产生碎片。

推理就不一样了。推理服务的请求是外部来的，来什么处理什么，来多少处理多少，完全不可预测。KV Cache又是动态增长的，每个请求需要的显存随着生成过程实时变化。这种"外部驱动+动态增长"的分配模式，是碎片产生的根本原因。所以推理框架不能照搬训练框架的显存管理策略，必须专门为这种模式设计。

主流显存碎片治理方案对比

市面上能打的方案就那么几个，下面这张表把核心差异和价格一起列出来，看完心里就有数了。

说明：vLLM和TensorRT-LLM的价格为A类官网价，可直接参考。H100 MIG切片为B类预估价格，实际以下单核算为准。需要特别指出的是，这几种方案可以组合使用——比如在vLLM上启用FlashAttention-2，既做碎片治理又做计算加速，效果叠加。一万网络工程师在交付时，会针对客户的具体模型和业务场景，推荐最优的方案组合，而不是让客户自己试错。

从成本角度看，选择哪种方案跟你的GPU型号直接挂钩。T4用户只能选vLLM或者SGLang（因为不支持TensorRT-LLM和FlashAttention-3），但¥900/月的价格让它成为入门级推理的首选。A100用户的选择面就宽很多，四种方案都能用，¥2800/月的价格在性能和成本之间取得了很好的平衡。H100用户最贵但也最灵活，所有方案全支持，还能用MIG做物理隔离。

推荐配置详解：不同场景怎么选GPU和显存优化方案

场景一：7B-13B模型的高并发在线推理

说实话，现在大部分线上推理场景跑的都是7B到13B的模型——Qwen2.5-7B、Llama-3.1-8B、DeepSeek-V2-Lite、ChatGLM3-6B这些。这种规模的模型，单张A100 40G或者H100 80G就能跑，但并发一上来，显存碎片就成了瓶颈。很多团队一开始用vLLM默认参数部署，跑了两天发现OOM，以为是模型有问题，调了半天才发现是max_num_seqs设太大了，KV Cache预分配把显存撑爆了。

实测数据：用vLLM部署Qwen2.5-7B，batch size开到64，输入长度1024，输出长度512。在A100 40G上，传统cudaMalloc管理下最大并发约120请求，显存利用率约65%。切到vLLM的PagedAttention后，同样显存最大并发飙到200+，显存利用率提升到85%以上。这个差距在T4上更明显——T4只有16GB显存，跑7B量化模型（INT4）传统管理模式下最多并发30-40，用PagedAttention能到60-80。小团队月预算有限，用T4 ¥900/月就能跑一个可用的推理服务，性价比确实高。

#1 一万网络「推理显存优化方案」：针对这类场景，一万网络提供T4（16GB，¥900/月）、V100S（32GB，¥1500/月）和A100 40G（¥2800/月）三种GPU定制方案，工程师1对1部署vLLM或TensorRT-LLM框架，预装CUDA 12.x + cuDNN + TensorRT，开机就是优化好的。T4跑7B量化模型（INT4）并发50-80够用，月付不到一千块，小团队直接上不心疼。如果预算稍微宽裕，V100S 32GB ¥1500/月多了一倍显存，跑13B模型都够。一万网络还提供免费系统盘快照和5-20G DDoS防护，省了运维的麻烦。

场景二：70B+大模型的长上下文推理

70B模型、32K上下文、batch size 8——这三个参数一叠加，显存就像开了水龙头。光KV Cache就能吃掉30GB+，模型权重加载还要140GB（FP16），单卡根本就别想。这种情况必须上H100 80G×8或者A100 80G×8的多卡方案。8卡H100总共640GB显存，看起来够了吧？但碎片问题一闹，实际可用可能只有400-450GB，线上一跑就捉襟见肘。

但多卡方案里，显存碎片问题更严重——不仅每张卡内部有碎片，卡与卡之间的负载还不均衡，有的卡显存快满了，有的卡还空着一大半。TensorRT-LLM的显存池方案这时候就显出价值了，它能跨卡统一管理KV Cache空间，把碎片率从30%压到10%以内。配合NVLink+NVSwitch的900GB/s卡间带宽，跨卡显存调度的延迟几乎可以忽略不计。H100上的Transformer Engine还能在FP8精度下跑推理，显存占用再降一半，碎片管理的容错空间就更大了。

#2 一万网络「H100 8卡推理集群」：一万网络的H100 8卡整机方案，月付¥8-12万（年付85折，A类官网价），配备双Xeon Platinum 8480+（112核）、2TB DDR5、8×15.36TB NVMe（读>14GB/s），新加坡和美国洛杉矶节点可选。线路走CN2 GIA回国，国内延迟50-80ms。预装TensorRT-LLM和vLLM，工程师帮你把显存池参数调好再交付，不用自己折腾。8卡集群日处理Token超过10T，跑Llama 405B Q4量化模型能做到50+ tok/s，生产级推理完全够用。如果预算有限，也可以考虑A100 80G 8卡方案，预估价格约¥2.5-4万/月（非官方报价，以咨询为准），性价比更高。

场景三：多模型混合部署场景

实际业务中很少只跑一个模型。ChatBot跑一个7B，代码生成跑一个13B，内容审核跑一个专用小模型——三个模型抢一张卡，显存管理就更复杂了。SGLang的RadixAttention在这里有天然优势：多个模型如果共享相同的tokenizer和前缀，KV Cache可以复用，显存占用直接砍半。比如你同时部署了Qwen2.5-7B和基于Qwen2.5微调的行业模型，它们共享BPE tokenizer和大部分前缀，RadixAttention能自动检测并复用，显存占用从"两个模型各自占一份"变成"共享前缀只占一份"。对于一些前缀重复率高的业务场景，比如多轮对话的system prompt都是相同的，RadixAttention的显存节省能达到50%甚至更高。

但对于不共享前缀的场景，更好的做法是用MIG（多实例GPU）做物理隔离。H100的MIG可以把一张卡切成最多7个独立实例，每个实例跑不同的模型，互不干扰，碎片问题各自管各自的。MIG的隔离级别是硬件级的，一个实例的显存碎片不会影响其他实例，也不会因为一个实例的OOM导致整卡服务中断。一万网络提供H100 MIG切片方案，单份切片从¥1.2-1.8万/月起（预估价格，以咨询为准），支持按小时弹性计费，适合多模型并行但不想买整卡的用户。如果跑的是小模型，T4整卡¥900/月或者AI算力云的A100切片¥900/月（1/20切片，4GB显存）也能满足需求，成本更低。

避坑指南：显存管理上的五个常见坑

坑1：以为显存大就够用，不搞碎片治理

有些人觉得"我H100 80G显存够大了，碎片怕什么"。10个并发请求一上来，碎片能吃掉20GB显存，70B模型直接OOM。不管卡多大，碎片治理都得做。vLLM的PagedAttention是必装项，不是可选项。跟"用人不疑"一样，用大显存卡不搞碎片治理，就是浪费。一张H100 80G月租折合下来要一万多，被碎片吃掉20%就相当于每个月白扔两千块，一年下来两万多块就没了。

坑2：KV Cache开太大，模型权重没地方放

vLLM里有个max_num_seqs参数，很多人不懂含义就往大了调，觉得并发越大越好。结果KV Cache预分配太多，模型权重加载时直接爆显存。正确做法是先算清楚模型权重占多少，剩下的再分给KV Cache。一般建议KV Cache占用不超过总显存的40%-50%。比如A100 40G，模型权重用FP16加载大约占14GB（7B模型），剩下的26GB里分10-13GB给KV Cache，留出10GB以上的余量给中间激活和碎片整理。如果做了INT4量化，模型权重降到4GB，KV Cache可以分到15-18GB，并发能力翻倍。

坑3：连续运行不重启，碎片越积越多

有些推理服务上线后几个月不重启，显存碎片越积越严重。实测显示，连续运行7天后，显存碎片率比刚启动时高出15-20个百分点。建议每周定时重启推理服务，或者在低峰期做显存整理。Linux的cuda-gdb工具可以手动触发cudaDeviceReset，但更推荐在框架层面做周期性碎片整理。vLLM从0.4版本开始支持自动碎片整理功能，可以在服务运行期间主动合并空闲块，不需要重启。但要注意，碎片整理期间推理性能会略有下降，建议配置在低峰时段自动触发，比如凌晨2点到4点。

坑4：多卡场景不做负载均衡，卡间碎片差异巨大

四卡A100做推理，结果两张卡显存利用率90%，另外两张只有40%。碎片集中在高负载卡上，低负载卡的显存却浪费了。TensorRT-LLM的显存池方案能做到跨卡均衡，但需要手动配置peer-to-peer通信。如果用的是vLLM，要注意设置tensor_parallel_size合理分配。还有个容易被忽略的点：NVLink连接拓扑会影响显存访问效率，8卡H100的NVSwitch全连接拓扑是最好的，4卡A100如果只有NVLink桥接，跨卡显存访问延迟会比全连接高不少，做碎片整理的时候也要考虑这个因素。

坑5：买便宜卡省成本，但显存管理能力差

T4只有16GB显存，跑7B量化模型勉强够，但显存管理能力基本为零——没有MIG、没有专用显存池、连PagedAttention的优化空间都有限。如果预算实在紧张，T4 ¥900/月确实便宜，但要做好并发上不去、频繁OOM的心理准备。反过来，V100S 32GB ¥1500/月，多了16GB显存，碎片管理的容错空间大得多。而且V100S有5120个CUDA核心和32GB HBM2，FP32算力17.1 TFLOPS，做推理加速比T4强了不止一个档次。多花600块换来的不仅仅是显存翻倍，更是推理速度和稳定性的全面提升。一万网络提供的GPU定制方案中，V100S是性价比最高的选择之一，跑13B模型推理完全够用。

坑6：不做显存监控，碎片爆了才知道

很多团队把推理服务部署上去就不管了，显存碎片率、利用率、KV Cache命中率这些指标一个都不看。等到用户投诉"服务卡死了"才去查，一查发现碎片率已经50%了。这个坑其实最好避免——用Prometheus + Grafana搭一套显存监控，把nvidia-smi的显存使用指标、vLLM的KV Cache block使用率、OOM频率都记录下来，设置告警阈值。碎片率超过30%就预警，超过40%就自动触发碎片整理。这套监控方案一小时就能搭好，但能省去后面无数次的半夜救火。一万网络提供的GPU服务器都预装了基础监控工具，工程师还能帮客户配置定制化的告警规则。

FAQ：显存管理与碎片优化常见问题

Q1：什么是显存碎片？为什么推理服务里特别严重？

显存碎片就是GPU显存被分配和释放搞得到处是小块空闲空间，连续大块不够用。推理服务里特别严重，因为KV Cache是动态增长的——每个请求生成的token数量不一样，释放时间也不一样，分配模式完全不规律。传统训练场景里显存分配模式固定（前向固定、反向固定），碎片反而少。推理是"来一个请求分一块，走了就释放"，像极了内存泄漏的高并发服务端程序。所以推理框架必须做显存管理，不然跑一天就卡死。还有一个关键点：GPU显存没有swap到系统内存的机制，显存碎片导致的OOM就是真的OOM，不像CPU内存还能靠swap撑一会儿。这就意味着推理服务必须做主动的碎片管理，不能依赖系统兜底。

Q2：PagedAttention和传统显存管理到底差在哪？

传统cudaMalloc的分配粒度是2MB，而且分配后不能移动，时间长了碎片就出来了。PagedAttention的思路是"分页"——把KV Cache切成固定大小的块（block），每块16个token的KV数据。请求来的时候按需分配块，走的时候整块回收，释放的块可以立即分配给其他请求。因为块的大小固定，外部碎片就基本消失了。内部碎片最多浪费一个块——16个token的KV Cache空间，比起传统方案动不动几GB的碎片，根本不是一个量级。打个比方：传统方案像是一个大仓库，进来货物随便放，走了留下空位，新来的大货放不进去。PagedAttention像是一个带标准货架的仓库，每个货架大小一样，货物按标准尺寸装箱，放的时候整齐，取走之后新货直接放进去，仓库利用率自然高。

Q3：FlashAttention能解决显存碎片问题吗？

FlashAttention主要解决的是显存带宽和计算效率，不是碎片问题。它通过tiling技术把注意力计算分块，减少中间激活在HBM和SRAM之间的搬运，推理速度能提升20%-30%。但碎片问题是分配的问题，不是计算的问题。FlashAttention配合PagedAttention使用效果最好——一个管计算效率，一个管显存分配，不冲突。FlashAttention-3在H100 Hopper架构上还有额外优势，但前提是你得用H100或H200。如果用的是T4或者V100，FlashAttention-2用不了，只能用基础的attention实现，但PagedAttention照样能用，显存碎片问题照样能解决。所以先上PagedAttention解决显存问题，再上FlashAttention解决速度问题，这个顺序才对。

Q4：显存碎片率和哪些因素有关？

核心因素有三个。第一是并发度：并发请求越多，显存分配释放越频繁，碎片越严重。第二是请求长度分布：如果请求长度差异很大（有的短到几十个token，有的长到几万token），碎片率会急剧上升。第三是服务运行时长：连续运行时间越长，碎片累积越多。实测数据显示，请求长度方差大时，碎片率可以比方差小时高出2-3倍。比如一个在线翻译服务，有的请求只有几个单词，有的请求是一整篇文档，碎片率会很高。而一个固定长度的批处理推理任务，碎片率几乎可以忽略不计。建议用SGLang的RadixAttention做前缀共享，或者用vLLM的自动碎片整理功能，每周定时重启。如果业务场景允许，还可以在请求入口做长度分桶——把短请求和长请求分别路由到不同的推理实例上，从源头上控制碎片率。

Q5：H100的MIG和显存碎片有什么关系？

MIG（多实例GPU）把一张H100切成最多7个独立实例，每个实例有独立的显存、缓存和计算单元，物理隔离。好处是：一个实例的显存碎片不会影响其他实例。但代价是：每个实例的显存是固定的，不能动态调配。如果一个实例的显存不够用，哪怕其他实例还有大量空闲，也调不过来。所以MIG适合流量稳定的场景，流量波动大的话，还是用vLLM的PagedAttention做逻辑隔离更灵活。实际操作中，很多人把MIG和vLLM结合使用：MIG做物理隔离，每个实例里跑vLLM做碎片管理，双保险。比如把一张H100切成两个MIG实例，一个跑7B模型（给在线API用），一个跑13B模型（给离线批处理用），各自独立管理显存，互不影响。

Q6：用量化能不能减少显存碎片？

量化能减少总体显存占用，但并不能直接解决碎片问题。模型权重从FP16压到INT4，权重占的显存减少了75%，KV Cache也跟着变小——碎片问题确实会缓解，因为"总有更多的显存空间可用来做碎片整理"。但量化本身不改变分配模式，该有碎片还是有。而且量化后的模型在推理时，KV Cache的精度也会降低（INT4或者INT8），对于某些精度敏感的任务，可能会影响输出质量。最佳实践是：先量化（省出显存空间），再上PagedAttention（管理剩余显存空间），两者配合才能把显存利用率拉到最高。一万网络工程师在交付GPU服务器时，会帮客户做量化方案评估——根据你的模型类型和精度要求，推荐合适的量化位宽（INT4、INT8还是FP8），并配合vLLM的PagedAttention做显存规划的联合优化，确保量化后的模型既省显存又不掉精度。

Q7：显存碎片导致OOM了怎么快速恢复？

别慌，先看是哪类OOM。如果是显存不足真的不够用，加卡或者换大显存卡。如果是碎片导致的OOM，最快的方法是重启推理服务进程——cudaDeviceReset会释放所有显存并重新分配，碎片就被清掉了。但重启会导致正在处理的请求中断，生产环境要做好graceful shutdown，先把正在处理的请求完成，再重启服务。更优雅的做法是：用vLLM的--max-num-batched-tokens参数适当降低并发上限，给碎片管理留出余量空间。如果是H100，可以用nvidia-smi的--gpu-reset功能做软重启，不影响其他MIG实例。我见过一个客户的做法挺聪明：他们在推理服务外面包了一层监控，实时检测显存碎片率，碎片率超过35%就自动触发vLLM的碎片整理，超过45%就直接重启服务，全年没出过一次OOM事故。

Q8：一万网络在GPU显存优化方面能提供什么支持？

一万网络深耕IDC 19年（成立于2007年），深圳南山总部，自营机柜。GPU定制方案不止是给你一台机器，而是工程师1对1部署全套显存优化工具链——CUDA 12.x、cuDNN、TensorRT、vLLM、SGLang全都预装好，参数按你的业务场景调优。7×24中文工单5分钟响应，硬件故障10分钟自动迁移。如果跑的是H100 8卡集群，还会帮你配置NVLink+NVSwitch的跨卡显存池，让卡间通信带宽跑满900GB/s。说白了，你拿到手就是优化好的，不用自己踩坑。一万网络还提供免费的系统盘每日3份快照（30秒回滚）、免费网站备案协助、5-20G免费DDoS防护。GPU定制支持年付8折、季付95折，同账户复购再减¥100/月。官网参考价：T4 ¥900/月、A100 40G ¥2800/月、H100 8卡整机¥8-12万/月（年付85折）。如果预算有限，AI算力云A100 1/20切片只要¥900/月，也能跑一些小模型推理。

总结：显存碎片不是玄学，选对方案就能治

做推理服务，显存碎片问题迟早要面对。越早上显存管理方案，越省心。小规模用vLLM的PagedAttention免费开源，中等规模上TensorRT-LLM的显存池，大规模多卡集群必须做跨卡统一管理。碎片治理不是锦上添花，是刚需——你可以在硬件上省钱用T4，但必须把碎片管好，否则再大的显存也经不起折腾。

一万网络在这块的经验确实够用——19年的IDC运维底子加上GPU定制的一站式交付，从T4到H100全系列覆盖，工程师帮你把框架和参数都调好，省下的时间和精力远超那点租金差价。GPU定制年付8折、季付95折，同账户复购再减¥100/月，长期用下来成本优势很明显。别等到线上OOM了再临时抱佛脚，显存管理这件事，前置规划比事后补救重要一百倍。记住一句话：你的GPU显存不是不够大，是没管好。碎片治理搞好了，同样的硬件，并发翻倍、成本折半，这笔账怎么算都划算。从今天开始，给你的推理服务做个显存"体检"吧——查查碎片率、看看KV Cache利用率、算算有效显存到底用上了多少，你会发现优化空间比想象中大得多。

数据来源：本文价格与配置数据来源于一万网络官网（https://www.idc10000.net/）及行业公开资料。具体以签约时最新报价与合同为准。