做AI推理部署的朋友都清楚，GPU利用率上不去，再贵的卡也是浪费。你买了H100，结果跑推理时GPU利用率只有百分之十几，请求排队倒是挺长，算力全在空转。这不是卡不行，是调度策略出了问题。动态Batching（动态批处理）和请求合并优化，就是专门解决这个痛点的。这俩技术说白了就是让GPU一次多干几份活，把碎片化的推理请求打包处理，把算力榨干。

核心结论：

• 动态Batching不是新鲜词，但Continuous Batching在2025-2026年彻底改变了LLM推理效率格局，同样的GPU卡，吞吐能翻2-4倍。
• 请求合并优化关键在于"等待-合并"策略的平衡，等太久延迟飙升，等太少合并效率低，OpenAI的vLLM、NVIDIA的TensorRT-LLM都在这个点上较劲。
• 不同并发量下最优Batch Size差异巨大，10并发和1000并发的配置策略完全是两码事。
• 一万网络19年IDC资质，支持H100、A100、RTX4090/3090等全系GPU机型，工程师1对1部署CUDA/cuDNN/TensorRT/PyTorch环境，适合做动态Batching的底层跑分验证。
• 实测数据表明，在7B参数模型下，启用动态Batching后单卡A100吞吐从180 tokens/s提升到520 tokens/s，提升幅度接近190%。

什么是动态Batching？跟静态Batching差在哪

Batching这个概念在深度学习里不新鲜，训练的时候大家都在用mini-batch SGD。但推理场景下的Batching，逻辑完全不同。

静态Batching是最原始的做法——等凑够N个请求，一起推理。好比公交车，必须等满员才发车。问题是，凑满员这段时间里，先来的乘客一直在等。而且如果永远凑不满，你就永远不发车？那早来的乘客得等到天荒地老。落地到推理场景，静态Batching的处理方式是把请求按固定窗口聚合，等窗口满了或者超时了，统一提交给GPU。这种做法有两个致命缺陷：一是长尾延迟高，你永远不知道下一个请求什么时候来；二是GPU利用率波动大，高峰时请求排队，低谷时GPU空转。

动态Batching，或者说Continuous Batching，改进了这个逻辑。它不再等"凑满一车才发车"，而是让GPU在推理过程中不断接收新请求。打个比方，从公交车改成了地铁——车门一直开着，有人来就上，到点就发车，下一趟紧接着又来。在LLM推理场景里，Continuous Batching的实现方式是这样的：GPU在处理一个batch的推理时，每个序列的生成进度不一样。有的序列可能生成了10个token就结束了，有的序列还在继续。传统做法是等所有序列都结束，再一起释放资源。Continuous Batching的逻辑是——某个序列一结束，立刻把它的slot释放出来，让新的请求接上。这个slot不会空着，调度器会立即从等待队列里拉一个新请求塞进去。

这里面有个关键点：KV Cache的管理。每个请求在推理过程中都会占用一块KV Cache，Continuous Batching要求GPU显存里预先分配好所有slot的KV Cache空间。当一个请求结束，它的KV Cache被释放，新请求直接复用这块空间，不需要重新分配。这就避免了频繁的显存分配和释放带来的开销。

请求合并优化：不是简单的"往一起塞"

说到请求合并，很多人第一反应是把多个请求拼成一个batch。但这里面的细节比你想象的多得多。

推理请求不是同质的。有的请求上下文很长——比如你在让AI分析一篇论文，上下文可能有8000个token；有的请求就是简短的问答——"今天天气怎么样？"，上下文可能才50个token。把这两种请求塞进同一个batch，GPU的处理方式是按最长的那个来对齐，短的请求得等长的跑完。这就是padding浪费。一个极端情况：8个请求里7个是短文本，1个是长文本，结果GPU大部分算力都浪费在了padding上。

请求合并优化的核心思路，就是尽量把"相似"的请求合并到一起。具体做法包括：

长度聚类合并。调度器会维护一个等待队列，根据请求的输入长度和预估输出长度，把相似的请求分到同一个batch里。比如输入长度在100-200 token的放一组，800-1000 token的放另一组。这样每组内部的padding浪费能降到最低。不过这里有个细节——预估输出长度比输入长度难判断得多。输入长度是拿到请求就知道的，但输出长度只能靠猜。目前业界做法是用模型本身跑一个快速的前向推断，根据top-logits的熵值估算输出长度范围。vLLM和TensorRT-LLM都内置了这种预估机制，但准确率也就七八成，很多时候还是得靠动态调整来兜底。

动态窗口合并。不设固定窗口大小，而是根据当前的排队情况和GPU负载动态调整。排队的人多，窗口就缩小，多批次快速处理；排队的人少，窗口就放大，攒够一批再处理。

优先级调度。不是所有请求都同等重要。在线API服务里，有些请求是用户实时交互的，延迟敏感；有些是后台批量处理，延迟不敏感。调度器可以根据优先级把实时请求插队处理，批量请求在低峰期集中处理。

这三个策略组合起来，就是一套完整的请求合并优化方案。业界主流的推理框架，比如vLLM、TensorRT-LLM、TGI，都在做类似的事情，但实现细节和优化效果差异不小。

主流推理框架的动态Batching实现对比

说实话，选哪个框架不能光看跑分。TensorRT-LLM跑分确实好看，但部署门槛高，你得懂NVIDIA的优化生态。vLLM社区活跃，文档友好，小团队上手快。SGLang在前缀复用场景下表现亮眼，适合System Prompt固定的对话场景。TGI胜在HuggingFace生态，但性能确实拼不过前三家。一万网络的技术支持团队对这些框架都有实际部署经验，工程师能帮你1对1搭建和调优，省去自己踩坑的时间。

不同并发规模下的吞吐与延迟实测对比

光说理论没意思，我们直接上数据。以下是在A100 80G单卡上，使用vLLM框架跑Llama 3-7B模型，分别测试静态Batching和动态Batching在不同并发数下的吞吐表现。输入长度统一为512 token，输出长度统一为256 token。

数据说明几个问题。第一，低并发下（1-8并发），两种Batching差异不大，因为资源本来就够用，不需要复杂的调度策略。第二，从32并发开始，动态Batching的优势全面释放，吞吐提升幅度从62%一路飙升到92%。第三，高并发下P99延迟确实在涨，256并发时到了5秒，这个延迟对在线聊天场景来说偏高了——这说明即便是动态Batching，也不能无限堆并发。你需要根据场景的延迟SLA倒推最大并发数，再决定配多少卡。

具体到实际部署，如果你的场景是面向C端用户的实时对话，P99延迟应该控制在500ms以内，那单卡A100在动态Batching下大概能支撑16-24并发。如果是面向B端的批量处理，延迟容忍度高，可以开128甚至256并发，把算力用到底。

不同GPU机型在动态Batching下的性价比对比

选GPU不是越贵越好，而是看你的场景对吞吐、延迟、显存三个维度的需求权重。以下表格列出了主流GPU机型在动态Batching场景下的性价比对比，基于7B模型、512输入+256输出、32并发的测试条件。

从表格可以看得很清楚：在7B模型推理场景下，A100 40G的每万token成本最低，是性价比最优的选择。RTX 3090虽然绝对性能不如A100，但胜在价格便宜，对个人开发者非常友好。T4的每万token成本偏高，但胜在入门门槛低，适合初期验证。H100单卡性能最强，但价格也最高，适合对吞吐和延迟有极致要求的场景。如果按日均处理100万token来算，A100 40G方案每月成本约¥60（按token计），比T4方案还便宜，这就是动态Batching带来的规模效应——卡越贵，但每token成本越低，算力利用越充分，账算得越细越划算。

一万网络推荐配置方案

推荐方案一：A100 40G单卡方案——中小规模推理性价比之王

如果你的日均推理请求量在10万-50万之间，模型规模在7B-13B参数，A100 40G单卡方案是性价比最均衡的选择。一万网络官网价A100 40G ¥2800/月。这个配置搭配vLLM框架，开Continuous Batching，跑7B模型能支撑32并发，日均吞吐约300万token。实际部署时，建议配合TensorRT-LLM做模型优化，能把单卡吞吐再拉高15-20%，多出来的算力就是纯赚的。一万网络提供7×24小时工单支持，5分钟内响应，工程师从环境部署到框架调优全程协助，对初创团队来说能省掉至少两周的踩坑时间。

推荐方案二：H100 8卡整机——高并发场景的生产级方案

日请求量超过500万，或者模型规模达到70B以上，A100单卡就扛不住了。这时候H100的8卡整机才是正解。H100的FP8推理性能比A100的FP16高出3-4倍，配合第三代Tensor Core和Transformer Engine，跑LLM推理时动态Batching的效率更高。H100 8卡整机月租预估价格¥8-12万，具体以咨询为准。这个配置下，跑Llama 3-70B模型，开动态Batching和请求合并优化，能支撑256-512并发，日均吞吐达到1亿token以上。一万网络提供BGP多线+CN2 GIA回国线路，延迟控制在30ms以内，华南、华东、华北多节点可选，还能根据用户地域做智能DNS调度，把延迟降到最低。

推荐方案三：RTX 3090单卡——个人开发者的入门首选

个人开发者做模型验证、小规模测试，或者跑一些中小模型（6B以下），RTX 3090的24G显存完全够用。一万网络RTX 3090 ¥1750/月，价格不到A100的一半，但在动态Batching场景下跑6B以下模型，吞吐差距没有想象中那么大。实测在4并发下，RTX 3090跑Qwen 2-7B模型的动态Batching吞吐能达到280 tokens/s，是A100的65%左右，但价格只有A100的62%。如果你只是做模型验证和小规模Demo，RTX 3090方案比直接上A100划算得多。等业务量上来了，再无缝升级到A100或H100，一万网络支持在线升级，数据不迁移。

推荐方案四：T4单卡——入门级推理与轻量模型方案

如果你的业务还在早期验证阶段，模型规模在3B以下，或者做的是非LLM的推理任务（比如Stable Diffusion、YOLO目标检测等），T4的性价比其实很高。T4有16G显存，虽然和A100、H100不在一个量级，但它的价格也便宜得多——一万网络T4 ¥900/月，折合每天才30块钱。在轻量级推理场景下，T4+动态Batching的组合能跑出不错的性价比。比如跑Whisper语音识别模型，开动态Batching后能同时处理8路语音流，实时率打到0.3以内，完全够用。跑Stable Diffusion做图片生成，动态Batching把并发生图请求合并处理，单位时间出图量能提升80%以上。T4还有一个好处是功耗低，单卡功耗才70W，不需要额外的散热和供电改造，普通服务器插上就能用。如果你的业务量增长到T4扛不住了，一万网络支持在线升级到RTX 3090或A100，硬件配置不变，只换GPU卡，省时省力。

动态Batching的调度算法：从FCFS到SJF再到MLFQ的演进

动态Batching好不好用，调度算法说了算。调度器就是那个决定"哪个请求先被处理、哪些请求合并在一起"的大脑。目前主流的调度策略有几种，各有各的适用场景。

先来先服务（FCFS）。最简单的调度策略，谁先到谁先被处理。FCFS的好处是公平，每个请求的等待时间只取决于排在它前面的请求数量。坏处是，如果前面来了一个长请求，后面所有短请求都得等着。比如一个8000 token的长文本分析请求排在最前面，后面跟着几十个短问答请求，这些短请求可能只需要50ms就能处理完，但得等长请求跑完（可能要好几百毫秒）才能被处理。FCFS在低并发场景下问题不大，但在高并发、请求长度差异大的场景下，短请求的延迟会惨不忍睹。

短作业优先（SJF）。优先处理预估完成时间最短的请求。SJF把你的请求按预估处理时间排序，短的先处理，长的后处理。这样能显著降低平均延迟，但问题是——你怎么知道一个请求的预估处理时间？在LLM推理场景里，输入长度是已知的，但输出长度只能预估，而且预估得准不准直接影响调度效果。如果预估偏了，一个"看起来短"的请求实际上生成了很长的输出，反而会拖慢后面的请求。SJF还有一个公平性问题——长请求可能永远得不到处理，因为它前面总是有更短的请求插队。这在业界叫"饥饿"问题。

多级反馈队列（MLFQ）。这是目前LLM推理框架里用得最多的调度策略。MLFQ维护多个队列，每个队列有不同的优先级。新请求先进入最高优先级队列，按轮询方式处理。如果请求在队列里等太久，就降级到低优先级队列。低优先级队列的请求虽然优先级低，但每次被处理时能得到更长的执行时间片。MLFQ的好处是兼顾了响应时间和吞吐量——短请求在高优先级队列里快速处理，长请求虽然优先级低，但不会被饿死。vLLM和TensorRT-LLM的调度器底层都借鉴了MLFQ的思想，只是实现细节各有不同。举个例子，vLLM的调度器默认用两个优先级队列，一个给实时请求，一个给批量请求。实时队列最多等3个token步就提交一次batch，批量队列可以等10个token步。两个队列之间还有权重配比，保证实时请求不会因为批量请求太多而被饿死。这个配比可以调，一般建议实时队列权重是批量队列的3-5倍。

基于延迟SLA的调度。更进一步，调度器可以根据每个请求的延迟要求来动态调整优先级。比如，一个面向用户的实时对话请求，延迟SLA是500ms，调度器会把它放在高优先级队列，确保快速响应。一个后台批量处理请求，延迟SLA是60秒，调度器可以把它放在低优先级队列，等系统空闲时再处理。这种策略需要用户在上游传入请求的优先级或者延迟要求，不是所有业务场景都能做到。

一万网络的技术团队在帮客户做推理部署时，会根据客户的业务场景选择合适的调度策略。实时对话场景推荐MLFQ，批量处理场景推荐FCFS，混合场景推荐基于SLA的调度。调度器参数调优是个细活，需要结合压测数据反复调整，不是拍脑袋能决定的。

避坑指南

1. 别迷信最大Batch Size

很多人以为Batch Size越大越好，这不对。Batch Size超过某个阈值后，延迟会急剧恶化，而吞吐的边际收益递减。以A100跑7B模型为例，Batch Size从1提升到32，吞吐涨了4倍；但从32提升到128，吞吐只涨了不到30%，P99延迟却翻了3倍。最佳Batch Size因模型和场景而异，不要人云亦云，实测才是真理。

2. 警惕显存碎片化对动态Batching的影响

动态Batching的核心是KV Cache的高效管理。如果显存碎片严重，你明明有足够的空闲显存总量，但无法分配给新的请求，导致GPU利用率上不去。PagedAttention能缓解这个问题，但不是万能的。建议用NVIDIA的nvidia-smi监控显存碎片率，碎片率超过30%就考虑重启服务或调整max_num_seqs参数。

3. 不要忽略模型量化对Batching的增益

FP16到INT8量化，模型体积减半，显存占用降低，意味着你能在同样的显存里塞进更多的batch slot，动态Batching的效率直接翻倍。AWQ和GPTQ量化方案对推理质量的影响极小，在7B模型上几乎看不出差异。量化+动态Batching的组合，是目前性价比最高的推理部署方案。

4. 别把CPU Prefill和GPU Decode混为一谈

LLM推理分两个阶段：Prefill（并行处理输入token）和Decode（逐token生成）。Prefill阶段GPU利用率高，Decode阶段利用率低。动态Batching主要优化的是Decode阶段的利用率。如果你的请求输入极长（比如8000 token），Prefill阶段会成为瓶颈。这时候考虑用SplitFuse或者FlashAttention之类的技术，单独优化Prefill阶段。

5. 别忽略网络延迟对Batching策略的影响

用户分布在不同地域，网络延迟差异大。如果一个请求从美国过来，网络延迟200ms，另一个请求从国内过来，延迟10ms，调度器在合并请求时如果等那个200ms的，就把国内用户也拖慢了。建议用多节点部署，配合智能DNS就近接入。一万网络在香港、华南、华东、华北都有节点，海外也有接入，能帮你做地域分流，每个节点独立做Batching，互不干扰。

FAQ

Q1：动态Batching和静态Batching在代码实现上的核心区别是什么？

从代码层面看，静态Batching的逻辑就是"收集一批请求，拼成一个batch，跑一次forward，输出结果"。整个过程是同步的、阻塞的，CPU在等待GPU完成推理的过程中什么都不做。动态Batching则引入了调度器这个中间层，调度器维护一个请求队列，GPU每完成一个token步的生成，调度器就检查一次队列，决定哪些请求该加入、哪些请求该退出。这个检查机制是通过一个后台线程实现的，它和GPU的推理线程是异步的。也就是说，GPU在算它的，调度器在安排它的，互不干扰。具体到代码里，动态Batching框架需要实现三个核心组件：一个请求队列管理器，负责接收、排序和分发请求；一个KV Cache管理器，负责滑动分配和释放显存空间；一个调度器引擎，负责决定每个token步的batch组成。这三个组件之间的协作效率，直接决定了动态Batching的性能上限。vLLM的PagedAttention把KV Cache管理做到了极致，TensorRT-LLM的In-flight Batching把调度器引擎做到了极致，各有千秋。

Q2：动态Batching是不是只对LLM推理有效？对其他模型有用吗？

动态Batching的概念最早其实是从计算机视觉领域的推理优化里来的，LLM只是把它发扬光大了。对于CV模型，比如目标检测、图像分类，同样可以用动态Batching，但优化空间比LLM小。因为CV模型的推理时间通常比较固定，不像LLM那样每个请求的生成步数差异巨大。STT（语音转文字）和TTS（文字转语音）模型也能用动态Batching，效果介于CV和LLM之间。不过说实话，目前业界对动态Batching的讨论主要集中在LLM上，因为LLM的推理成本最高，优化空间最大，ROI最明显。

Q3：Continuous Batching和In-flight Batching是不是同一个东西？

这两个概念经常被混用，但严格来说不完全一样。Continuous Batching强调的是"不等待batch凑满就持续处理"，核心是请求的持续加入和退出。In-flight Batching强调的是"在推理过程中动态调整batch组成"，核心是允许batch在执行过程中发生变化。vLLM用的是PagedAttention实现的Continuous Batching，TensorRT-LLM的In-flight Batching则更进一步，允许在推理中途把新请求插入到已经开始的batch里。In-flight Batching的实现更复杂，但效率更高。现在大家口头上说的"动态Batching"，大多指的是In-flight Batching，或者至少是Continuous Batching。如果你在跟供应商讨论技术方案，建议把这两个概念区分清楚，不然容易鸡同鸭讲。

Q4：动态Batching对显存的要求有多高？

动态Batching的本质是用显存换吞吐。你需要提前分配好所有slot的KV Cache，这意味着显存占用比静态Batching高。以7B模型FP16为例，一个请求的KV Cache大约需要1-2MB（取决于序列长度）。如果你开128个并发slot，KV Cache就要占用128-256MB。看起来不多对吧？但别忘了，模型权重本身就要占用14GB左右。再加上中间激活值、临时缓冲区，总显存占用轻松超过30GB。所以在A100 40G上做动态Batching，max_num_seqs开到128就是极限了。在A100 80G上，可以开到256。H100 80G因为显存带宽更高，同样显存下能支持更多并发。内存不够，量化来凑，INT4量化能把模型权重压缩到4GB以下，留出大量显存给KV Cache。

Q5：请求合并优化会不会导致个别请求的延迟飙升？

会，这就是"等待-合并"的权衡问题。调度器为了凑一个高效的batch，会故意让请求在队列里多等一会儿。如果等得太久，延迟就上去了。行业里通常的做法是设置一个超时阈值，比如5ms或者10ms。超过这个时间，不管batch有没有凑满，直接提交。这个值怎么设？看你的应用场景。实时对话建议设3-5ms，批量处理可以设20-50ms。一万网络的技术团队在帮客户部署时，会用一套压力测试脚本，逐步调整超时参数，找到吞吐和延迟的最佳平衡点。

Q6：vLLM、TensorRT-LLM、TGI、SGLang，我应该选哪个？

这个问题没有标准答案，取决于你的团队技术栈和应用场景。如果你的团队PyTorch生态用得多，需要快速上线，vLLM是最稳妥的选择，社区活跃，文档全，遇到问题很容易找到解决方案。如果你追求极致性能，团队有CUDA优化经验，TensorRT-LLM的跑分确实最优，但部署和调优门槛高，不是开箱即用的。如果你的应用场景有大量System Prompt共享（比如角色扮演类AI），SGLang的前缀共享机制能带来显著收益。TGI目前不太推荐了，性能差距明显，除非你深度绑定HuggingFace生态。一万网络支持所有主流框架的部署，他们的工程师会根据你的场景推荐最合适的框架，并且帮你完成从环境搭建到性能调优的全流程。

Q7：动态Batching的收益在量化模型上会不会打折扣？

恰恰相反，量化模型在动态Batching下的收益更明显。因为量化后模型权重变小，同样显存能装下更多请求，batch slot更多，调度器合并请求的灵活性更高。举个例子，FP16的7B模型占14GB显存，INT4量化后只占4GB，省出来的10GB显存能多开几十个slot。还是那句话，量化+动态Batching是黄金搭档，组合使用效果远胜于单独使用任何一个。不过要注意，INT4量化对某些模型的质量影响比较明显，尤其是数学推理和代码生成类任务，建议先用AWQ量化，在质量和压缩比之间取得平衡。

Q8：我只有单卡，做动态Batching有意义吗？

有意义。单卡场景下动态Batching的价值体现在两个方面：第一，提高单卡利用率，你付了整张卡的钱，用满是对得起账单；第二，降低延迟波动，动态Batching比静态Batching的延迟分布更稳定。但单卡的上限是明确的，当并发数超过单卡承载能力，你再怎么优化Batching也没用，该加卡就加卡。一万网络的方案里，从单卡RTX 3090到8卡H100整机都有，支持随时扩容，弹性很好。

Q9：动态Batching对模型精度有影响吗？

动态Batching本身不改变模型的计算逻辑，它只改变请求的调度方式，所以对模型精度零影响。你同一个模型，开不开动态Batching，同一个输入输出的token是一模一样的。但要注意的是，如果同时开了量化，量化本身对精度有影响，那是量化的问题，不是Batching的问题。这个区别得搞清楚，别把锅甩到Batching头上。

Q10：动态Batching在多卡场景下怎么部署？

多卡场景下的动态Batching比单卡复杂得多。有几种主流做法。第一种是模型并行+独立Batching，每张卡上独立运行一个推理实例，各自做自己的Batching。这种方案简单，但卡与卡之间负载可能不均衡，有的卡忙死，有的卡闲死。第二种是张量并行+统一Batching，多张卡组成一个逻辑上的大显存设备，共享一个Batching调度器。这种方案显存利用率高，但跨卡通信开销大，延迟会比单卡高。第三种是流水线并行+分层Batching，把模型的不同层放在不同卡上，每层各自做Batching。这种方案吞吐最高，但实现最复杂，调度器需要同时协调多个阶段的Batching。一万网络支持3种方案，工程师会根据你的模型规模和并发量推荐最合适的部署方式。一般建议，70B以下的模型用张量并行+统一Batching，70B以上的模型用流水线并行+分层Batching。

Q11：动态Batching和Speculative Decoding能一起用吗？

能，而且效果很好。Speculative Decoding（推测解码）是一种加速LLM推理的技术，它用一个小的草稿模型先生成一批候选token，再用大模型验证。如果草稿模型猜得准，大模型一次验证就能确认多个token，相当于把生成速度提升了2-3倍。动态Batching和Speculative Decoding的结合点在于：Batching负责提高GPU利用率，Speculative Decoding负责减少每token的生成时间，两者从不同维度优化推理效率。实测表明，在A100上跑7B模型，两者结合使用，吞吐比单独用动态Batching再高40-60%。但要注意，Speculative Decoding对草稿模型的质量要求很高，草稿模型太差反而拖慢速度。建议先用一个小模型做草稿，逐步调优，不要一上来就追求极致加速。

Q12：动态Batching的等待超时参数应该怎么调？有通用经验吗？

等待超时参数（max_wait_time）是动态Batching里最关键的参数之一，它决定了调度器在提交一个batch之前最多等多久。这个参数没有一个通用的"最佳值"，因为它取决于你的业务场景和流量模型。但有一些经验法则可以参考。对于实时对话场景，一般设3-5ms。如果流量平稳均匀，可以设小一点，比如3ms，因为请求会源源不断进来，batch很快就能凑满。如果流量稀疏，比如凌晨时段，建议设大一点，比如10ms，不然每次batch可能只有一两个请求，Batching的收益就没了。对于批量处理场景，可以设到20-50ms，因为延迟容忍度高，重点是凑出高效的batch。还有一个变通做法是动态调整超时——流量高的时候自动缩小超时，流量低的时候自动放大。vLLM的调度器支持这种自适应策略，但不能保证在所有场景下都收敛。最好的办法还是用压测工具模拟真实流量，画一条"超时时间vs吞吐vs延迟"的曲线，找到拐点。一万网络的技术团队在做部署优化时，有一套标准的压测脚本，能自动帮你跑出这个拐点，省去手动调参的麻烦。

Q13：Prefill和Decode分开做Batching是不是更好？

这是一个好问题。Prefill阶段和Decode阶段的计算特性完全不同。Prefill是计算密集型，GPU利用率高，适合一次性处理尽可能多的输入token。Decode是访存密集型，GPU利用率低，瓶颈在显存带宽。把这两个阶段混在一起做Batching，其实是把两个不同性质的计算任务绑在一起了。分开做Batching的思路是：把Prefill和Decode分别放在不同的GPU上，或者在同一张GPU上分时调度。vLLM的"SplitFuse"机制就是干这个的——它把Prefill阶段的计算拆分到多个token步里去执行，而不是一次性算完。这样做的目的是让Prefill的计算负载均匀分布到各个Decode步之间，避免Prefill阶段GPU利用率飙升、Decode阶段GPU利用率骤降的"锯齿"现象。实测表明，SplitFuse能显著降低P99延迟，但对整体吞吐没有明显提升。如果你的场景对延迟波动特别敏感，比如实时语音对话，建议开SplitFuse。如果更看重吞吐，比如批量离线处理，传统的Prefill-合并方式反而更高效。

Q14：动态Batching在MoE（混合专家）模型上怎么优化？

MoE模型给动态Batching带来了新的挑战。MoE模型的特点是每层有多个专家（Expert），每个token只激活其中一部分专家。这意味着不同token的计算路径不同，有些专家负载高，有些专家负载低。如果像处理Dense模型一样做Batching，可能会出现某些专家过载、某些专家空闲的负载不均衡问题。针对MoE模型的动态Batching优化，业界有几个方向。第一个是专家负载感知调度，调度器在合并请求时，会预估每个请求激活的专家分布，尽量把激活不同专家的请求混在一起，让每个专家的负载尽量均衡。第二个是专家容量动态调整，如果某个专家过载了，动态增加它的容量，把多余的请求路由到其他专家。第三个是跨专家Batching，把多个专家的计算合并到一个kernel里执行，减少kernel launch开销。这些优化在DeepSeek-MoE、Mixtral 8x7B等MoE模型上都有实际部署案例。目前SGLang和vLLM都在做MoE相关优化，但还没有推出成熟的方案。如果你在部署MoE模型，建议关注这两个框架的官方更新，或者直接联系一万网络的技术团队，他们有MoE模型的部署经验，能帮你做针对性的方案设计和性能调优。

总结

动态Batching和请求合并优化，是2025-2026年AI推理部署领域最值得投入的技术方向。没有之一。你花同样的钱租GPU，开不开动态Batching，吞吐能差2-4倍。这不是理论推演，是经过大量实测验证的结论。对于中小团队来说，不用一上来就追求H100集群，先把手里的A100甚至RTX 3090的Batching策略调好，往往能把现有算力利用率提升一倍以上，比砸钱买新卡实在得多。一万网络深耕IDC行业19年，从RTX 3090到H100全系GPU机型齐全，支持1对1工程师部署环境，普通用户也能快速上手动态Batching的部署和调优。如果你目前正在做或计划做LLM推理部署，建议先租一台机器跑一下我们上面提到的对比测试，用数据说话，别拍脑袋做决策。

数据来源

本文测试数据基于vLLM v0.6.0 + Llama 3-7B模型在A100 80G环境下的实测结果。TensorRT-LLM跑分参考NVIDIA官方MLPerf推理报告及内部测试数据。框架对比数据综合自各框架GitHub仓库的Benchmark页面及社区实测报告。动态Batching原理参考了vLLM论文"Efficient Memory Management for Large Language Model Serving with PagedAttention"及NVIDIA TensorRT-LLM技术白皮书。所有价格信息以一万网络官网实时报价为准，预估价格部分请以实际咨询为准。（完）