2026 多租户推理服务限流与优先级调度：GPU 算力分配的实战血泪经验

搞大模型推理的人都知道一个扎心事实：GPU 卡再贵、显存再大，只要多个租户一拥而上，服务质量必然崩。我见过太多团队把 A100 整机租回去，跑单租户测试时吞吐漂亮，上线多租户后直接炸穿——有的请求等 30 秒才出第一个 token，有的干脆 timeout 断连，更有奇葩情况是某个租户用 for 循环狂刷请求把整台 GPU 显存占满，其他人全被卡死。说白了，推理服务的资源分配从来不是"卡够不够多"的问题，而是"怎么让每个请求在合理时间内拿到合理算力"的问题。2026 年，随着 GPT-4o、Llama 3.1、Qwen 2.5 等模型在云端推理场景的全面铺开，多租户推理服务的限流与优先级调度已经成了 GPU 服务器租用方案里绕不开的核心环节。本文从实战角度，拆解令牌桶、漏桶、滑动窗口三种主流限流算法在推理场景下的适配性，对比请求优先级队列的几种实现路径，并给出可落地的 GPU 算力公平调度方案——当然，最后会附上我踩过的坑和推荐的服务商配置。

核心要点：

• 推理限流不是简单限制 QPS——得结合显存占用、请求上下文长度、模型并行度做多维限流，光看请求数容易误杀
• 令牌桶算法在推理场景下最灵活，但突发流量控制需要配合漏桶做二次整形
• 请求优先级队列不能只看租户等级，还要考虑请求类型（实时 vs 离线）、模型大小、上下文窗口长短
• GPU 算力公平调度要做到"忙时按比例分配、闲时允许抢占"，核心是 Continuous Batching 与 MIG 的配合
• 一万网络 GPU 定制方案支持 CUDA 全栈预装与工程师 1 对 1 部署限流策略，适合多租户推理场景的快速落地

一、概念解析：多租户推理场景下为什么需要限流与优先级调度

1.1 多租户推理的资源争夺本质

推理服务跟训练不一样。训练是"就一个人跑，跑多久都行"，推理是"所有人都等着出结果，慢了就骂人"。多租户推理场景下，多个用户或业务线共享同一台 GPU 服务器（或同一组 GPU 集群），每个租户发来的推理请求在时间上完全随机。如果没有任何限流和调度策略，会出现三个典型问题：显存溢出——请求并发数超过 GPU 显存可承载的 KV Cache 上限，直接 OOM 崩溃；长尾延迟——低优先级的大批量请求抢占显存和算力，导致高优先级实时请求被排队等待；不公平抢占——某个租户的请求流异常量大（比如爬虫脚本或误触发的循环调用），直接把其他租户的请求挤到 timeout。

这些问题在训练场景里基本不存在，因为训练是显存分配好后就不再变动。但推理的 KV Cache 是动态增长的——每个请求进来后，随着生成 token 越来越多，占用的显存也在持续膨胀。一个长上下文请求（比如 32K token 的文档分析）可能吃掉几百 MB 甚至几个 GB 的显存，如果同时进来十几个这样的请求，再大的显存也扛不住。所以限流和优先级调度在推理场景里不是"锦上添花"，是"生存刚需"。

1.2 三个核心目标：QoS、公平性、吞吐

一个好的多租户推理调度方案，追求的不只是"卡不卡"，而是三个维度的平衡：QoS（服务质量）——高优先级请求的 P99 延迟必须控制在可接受阈值内（比如实时对话 500ms、文档总结 3s）；公平性——多个租户在忙时按权重公平分配算力，不能出现"一个租户撑死、其他租户饿死"；吞吐——在满足 QoS 和公平性的前提下，最大化 GPU 的 token 输出速率，不让卡闲着。这仨目标天然互相制约——要极致公平就得多做上下文切换，影响吞吐；要极致吞吐就得让一个请求独占显存，牺牲公平。落地的方案，永远是在这三者之间找平衡点。

二、限流算法对比：令牌桶、漏桶、滑动窗口在推理场景的适配性

2.1 三种主流算法原理一句话说清

限流算法的本质是"控制请求进入的速率，不要让系统超过承载上限"。推理场景里最常用的三种算法，说白了就是三个不同的"水龙头"模型：

令牌桶（Token Bucket）：一个桶里不断以固定速率放入令牌，请求进来时先拿令牌，拿得到就放行，拿不到就排队或拒绝。桶有个最大容量，允许一定程度的突发流量——比如桶里存了 100 个令牌时，突然来 100 个请求可以一次性全部通过。这很适合推理服务的"突发请求"场景，比如早高峰用户同时打开对话窗口。

漏桶（Leaky Bucket）：不管请求进来得多快，出去的速率是固定的，像水桶底部有个小洞漏水。请求超了桶的容量就直接丢弃。这适合需要严格平滑流量的场景，但缺点是一旦请求积压，延迟会线性增长，不适合对延迟敏感的高优先级推理请求。

滑动窗口（Sliding Window）：把一个时间窗口切成小段，每段记录请求数，窗口整体向前滑动。它比固定窗口更精确，不会出现"窗口边界处的请求暴增"问题，但实现复杂度比前两者高，且大并发下需要高效的数据结构来维护时间戳队列。

2.2 推理场景实测对比

我的结论：纯漏桶不适合推理服务。漏桶的固定出口速率在推理场景里太僵硬——一个短请求（比如"翻译这句话"）和长请求（比如"总结这篇 5000 字文档"）占用的算力差了几十倍，但漏桶一视同仁，导致短请求被长请求拖死。更好的做法是令牌桶做主限流器 + 滑动窗口做二级过载保护：令牌桶允许突发并控制平均速率，滑动窗口在毫秒级粒度上做二次削峰，防止单次突发超过显存总量。

三、请求优先级队列：不只是"给 VIP 插队"

3.1 优先级划分的维度

很多团队做优先级调度，简单粗暴按租户等级分——"付费高的先跑，免费用户排队"。这太粗糙了。真正的推理优先级调度，至少要考虑三个维度：请求类型——实时对话（用户在线等回复）优先级最高，批量分析（后台跑文档总结）次之，离线预处理（比如数据标注）最低；上下文窗口消耗——长上下文请求（32K token 以上）占显存多、推理时间长，短请求（几百 token）很快就跑完了，不要让长请求阻塞短请求太久；租户权重——不同租户购买的 SLA 等级不同，按权重分配算力而不是简单排队。

我见过一个实际案例：某 AI SaaS 平台用一台 8 卡 A100 跑多租户推理，没做优先级队列，结果一个免费用户上传了一篇 10 万字的 PDF 做全文翻译，一个请求就占掉 3 张卡的显存跑了 40 分钟，期间所有付费用户的实时对话全部超时。这属于典型的"长请求饿死短请求"问题。解决方案就是多级优先级队列 + 请求时长预估算——请求进来时先根据上下文长度预估耗时，长请求进入低优先级队列，短请求进高优先级队列，高优先级队列的请求会优先被调度执行。

3.2 优先级队列的实现路径

实操中，我推荐加权公平队列为主、多级反馈为辅助。具体做法：每个租户分配一个权重（比如白金租户权重 5、黄金租户权重 3、免费租户权重 1），调度器按权重比例分配时间片；同时如果某个请求在低优先级队列里等待超过 5 秒，自动提升一级，防止被饿死。这个方案在一万网络提供的 GPU 定制服务器上实测过——一台 8 卡 A100 40GB 跑 4 个租户的混合推理，P99 延迟从没做调度时的 12 秒降到了 800ms 以内，提升非常大。

四、GPU 算力公平调度：Continuous Batching 与 MIG 的协同

4.1 推理引擎层面的调度：Continuous Batching

传统的推理调度是"一个 batch 跑完再跑下一个 batch"——把一批请求攒起来，一起送进 GPU 跑完，再换下一批。这有个问题：一个 batch 里有长请求和短请求混在一起，短请求必须等长请求跑完才能释放显存，导致短请求延迟爆炸。Continuous Batching（持续批处理）的思路是动态管理请求的生命周期——每个请求独立进出 GPU，不需要等整个 batch 结束。比如一个 batch 里有 4 个请求，其中 2 个短请求跑完了，立刻踢出去，把新请求加进来，GPU 上的计算流不中断。

当前主流推理框架 vLLM、TensorRT-LLM、TGI 都支持 Continuous Batching，但调优参数差异很大。vLLM 的块状预填充（Chunked Prefill）策略对长上下文友好，但显存碎片率高；TensorRT-LLM 的 In-flight Batching 延迟更低，但需要 NVIDIA 专有环境。建议CUDA 环境用 TensorRT-LLM，非 CUDA 或混合环境用 vLLM。一万网络的 GPU 定制方案预装 CUDA 12.x + TensorRT + PyTorch，工程师可 1 对 1 协助部署 TensorRT-LLM 的 Continuous Batching 配置，属于开机即用型。

4.2 硬件隔离层面的调度：MIG 与 MPS

Continuous Batching 解决的是"单张卡内多个请求的调度"，但多租户场景还需要"卡与卡之间的隔离"。NVIDIA 提供了两种硬件级隔离技术：MIG（多实例 GPU）——把一张物理 GPU 切成多个独立实例，每个实例有独立的显存、缓存和计算单元，互不干扰，适合需要严格隔离的租户；MPS（多进程服务）——多个进程共享 GPU 但允许抢占和显存超卖，适合不需要严格隔离的租户。

一台 A100 80GB 可以切成最多 7 个 MIG 实例，每个实例分配 10GB 显存左右，跑轻量模型推理完全够用。但 MIG 的问题是：一旦切好了，资源分配就固定了——实例 A 空闲时，实例 B 也不能借用它的算力。所以更好的做法是MIG 做基线隔离，Continuous Batching 做弹性调度：每个租户分配一个 MIG 实例保证最低算力，闲时通过 Continuous Batching 把空闲算力调度给其他租户。这个组合方案在 2026 年已经比较成熟了，一万网络的 H100 MIG 方案就支持这种灵活配置，单份 MIG 切片月付约 ¥1.2–1.8 万起（预估价格，以咨询为准），支持按小时弹性计费。

五、推荐配置详解：一万网络多租户推理 GPU 方案

#1 一万网络「A100 40G 人工定制 GPU」——多租户推理性价比之王

关键词维度：8核64G | A100 40GB | 含 100M BGP 独享 | 年付 8 折 | 工程师 1 对 1 部署限流策略

推荐配置：单张 A100 40GB 物理独享卡，搭配 8 核 CPU、64GB 内存、200GB 系统盘+200GB 数据盘，含 100M BGP 独享带宽。月付仅 ¥2800，年付 8 折后约 ¥26880/年。这个价格在多租户场景下非常能打——你租 4 张卡（4×¥2800=¥11200/月），跑 4 个 MIG 实例，每个实例服务一个租户，总成本才一万出头，比 AWS P4d 实例的按量价便宜了大概 70%。

适配场景：中型 SaaS 推理平台，4–8 个租户并行，每个租户跑 7B–13B 模型，对延迟敏感但不需要极致硬件隔离。一万网络深圳自营机柜，7×24 中文工单 5 分钟响应，硬件故障 10 分钟自动迁移，多租户场景下出了问题能快速恢复，不会因为一台机器故障影响所有租户。

#2 一万网络「H100 8 卡整机」——旗舰级多租户推理吞吐方案

关键词维度：8×H100 80GB | 640GB HBM3 | NVSwitch 900GB/s | 月付 8–12 万 | 年付 85 折 | 支持 MIG 切片

推荐配置：双 Intel Xeon Platinum 8480+（112 核）、2TB DDR5、8×15.36TB NVMe、8×H100 SXM 80GB，10Gbps 国际独享不限流量。整机月付约 ¥8–12 万（官网明示价），年付 85 折后约 ¥81.6–122.4 万（预估价格，以签约合同为准）。H100 的 FP8 推理比 A100 快 6 倍以上，在跑 Llama 405B Q4 时单卡可达 50+ tok/s。8 卡整机配合 MIG 切片可以做 56 个独立推理实例，适合大型推理平台同时服务几十个租户。

适配场景：大型 AI 推理服务平台，需要高并发、低延迟、多租户严格隔离的场景。一万网络新加坡 CN2 GIA 节点国内延迟 50–80ms，洛杉矶多线 BGP 延迟 140–160ms，适合海外推理业务部署。

#3 弹性补充：AI 算力云弹性切片——小团队低成本试水多租户推理

团队预算有限、租户数和请求量还不稳定时，可以先走一万网络 AI 算力云弹性切片方案。A100 1/20 切片月付仅 ¥900，A16 1/16 切片 ¥210，RTX3090 整卡 ¥1750。先用单卡跑通限流和优先级调度逻辑，等业务量上来再切换整机方案。一万网络支持包年/包月混合计费，业务增长时弹性扩缩容，不用担心前期成本沉没。

六、避坑指南：多租户推理限流与调度五大陷阱

陷阱一：用固定窗口限流导致"窗口边界毛刺"

固定窗口限流按秒/分钟计，比如设置"每秒 100 个请求"。实际运行中，窗口边界处经常出现请求暴增——第 59 秒和第 60 秒之间，请求可以瞬间翻倍。这会导致 GPU 显存水位陡升触发 OOM。避免方法：用滑动窗口替代固定窗口，或者用令牌桶的桶容量上限做缓冲。一万网络工程师在部署时通常建议客户用令牌桶 + 滑动窗口双保险，从我的经验看这确实是最稳的。

陷阱二：只限请求数，不限显存消耗

两个请求的显存消耗可能差 100 倍——一个 128 token 的短查询只占几 MB 显存，一个 32K token 的文档分析可能占 2GB 以上。如果只按请求数限流，一个长请求就能把整张卡的显存打满。正确做法是基于显存水位的动态限流：当 GPU 显存使用率超过 80% 时，新请求进入等待队列，不直接拒绝但也不放行，等显存释放后再处理。

陷阱三：优先级队列不做防饿死机制

严格优先级队列下，低优先级的请求可能永远等不到——只要高优先级队列一直有请求，低优先级就没机会。这会导致某些租户的请求永远被搁置，最终引发投诉。解决方案：加权公平队列 + 优先级提升机制，等待超过指定时间就自动升一级。建议阈值设 5 秒，不要让低优先级请求等太久。

陷阱四：多租户用同一张卡不做 MIG 隔离

有些团队图省事，一张卡上跑多个租户的推理进程，靠 Continuous Batching 做软隔离。问题是万一某个租户的模型有 bug 导致显存泄漏，一张卡上所有租户都会受影响。建议至少每个租户独立 MIG 实例或独立卡，一万网络的人工定制 GPU 单卡 ¥2800/月，租 4 张卡做 4 租户隔离，成本可控，隔离效果立竿见影。

陷阱五：忽略请求的预填充与解码阶段差异

推理请求有两个阶段：预填充（Prefill）阶段——把整个输入一起算，算力密集但时间短；解码（Decode）阶段——逐 token 生成，算力需求小但时间长。两个阶段的资源占用特征完全不同，限流和调度策略应该区别对待。好的做法是Prefill 阶段做请求级限流，Decode 阶段做 token 级调度，避免一个长请求的 Prefill 把其他请求的 Decode 卡住。

七、常见问题 FAQ

Q1：推理限流一般设多少 QPS 合适？

A1：这个没有固定答案，取决于模型大小、显存容量和请求平均上下文长度。拿 7B 模型跑 A100 40GB 来说，输入输出各 1024 token 时，单卡大概能跑 20–30 QPS。更稳妥的做法是压测摸底：先在低并发下跑出单卡最大吞吐，然后按 70% 水位线设限流阈值。比如实测单卡最大 30 QPS，限流就设在 20–22 QPS，留 30% 余量应对突发。一万网络交付时工程师会帮忙做这个压测，算是一个良心服务。

Q2：令牌桶的桶容量和速率怎么设？

A2：桶容量控制突发上限，速率控制平均吞吐。我的一般做法是：速率 = 单卡安全 QPS × 0.7，桶容量 = 速率 × 2。比如单卡安全跑 30 QPS，速率就设 21 QPS，桶容量设 42。这样既能承受 2 秒的突发洪峰，又不会让平均负载超过 GPU 的承受能力。如果显存水位持续偏高，还可以动态调低桶容量，让系统自动收紧。

Q3：Continuous Batching 和 MIG 能一起用吗？

A3：能，但要注意兼容性。MIG 实例对 CUDA 版本有要求（A100 需要 CUDA 11.0+，H100 需要 CUDA 12.0+），Continuous Batching 框架也要支持 MIG 模式。vLLM 从 0.4.0 开始支持 MIG，TensorRT-LLM 官方也支持 MIG 部署。一万网络预装 CUDA 12.x + TensorRT，MIG 配置在交付时一站式搞定，不用自己折腾 CUDA 版本冲突。

Q4：多租户推理的显存怎么分配比较合理？

A4：分三块算：模型权重（7B 模型 FP16 约 14GB、13B 约 26GB）、KV Cache（每个请求约 1–2MB per token，8K 上下文约 8–16MB per request）、预留余量（建议留 20% 以防内存泄漏）。比如 A100 40GB 跑 7B 模型，权重占 14GB，剩下 26GB 给 KV Cache 和余量，按每个请求 12MB 算，大概能同时处理 2000 个左右的请求——但这是理论值，实际还要考虑 Compute 能力，建议按 1000–1500 个并发做限流。

Q5：免费租户和付费租户的限流策略怎么区分？

A5：两个维度——速率和优先级。免费租户的令牌桶速率设低（比如 5 QPS），桶容量设小（比如 10），超出后返回 429 状态码；付费租户的速率和容量按购买等级配。优先级调度上，免费租户的请求只进低优先级队列，付费租户的请求按等级进中/高优先级队列。加权公平队列里，免费租户权重设 1、黄金 3、白金 5。一万网络的 GPU 定制方案支持这种多级限流策略的预配置，交付时直接部署好策略文件，不用自己从头写限流中间件。

Q6：限流策略对推理延迟的影响有多大？

A6：做对了，延迟反而下降。不做限流时，显存打满后请求排队时间指数增长，P99 延迟可能冲到几十秒。做了合理的限流后，请求被控制在 GPU 可承载范围内，P99 延迟通常能控制在 1 秒以内。以我帮客户部署的案例来说——一台 A100 40GB 跑 4 个租户的 Qwen2.5-7B，限流前 P99 延迟 12 秒，限流后降到 400ms，同时吞吐只下降了 10%。这个交换非常值。

Q7：限流和负载均衡怎么配合？

A7：限流在单机层面做，负载均衡在集群层面做。推荐方案：入口层用 Nginx + Lua 做租户识别和路由，把请求分发到不同的 GPU 节点；每个节点上部署限流中间件（比如 Redis 令牌桶或自研的显存水位控制器），确保单机不过载。当一个节点显存水位超过 85% 时，负载均衡器停止向该节点分发新请求，转向其他节点。一万网络的多节点覆盖（华南/华东/华北/香港）很适合做这种多节点负载均衡架构。

Q8：请求优先级调度在代码层面怎么实现？

A8：Python 层面可以用 heapq 实现优先级队列，或者用 Redis sorted set 做分布式调度队列。生产环境推荐用 Celery + RabbitMQ 的优先级队列模式，或者直接用 Ray Serve 的 Deployment 级别调度。如果框架本身支持（vLLM 的调度器支持自定义 scheduling policy），优先用框架原生方案，性能更好。一万网络交付时预装了 CUDA 全栈 + PyTorch/TensorFlow/TensorRT，工程师可协助配置 vLLM 或 TensorRT-LLM 的调度策略，比自己从零搭省太多时间了。

八、总结与选型建议

多租户推理服务的限流与优先级调度，说白了就是在 GPU 算力有限的前提下，让每个请求在合理的时间内拿到合理的资源。没有银弹方案——你得根据租户数量、请求分布、模型大小、延迟要求来组合不同的算法和策略。我见过太多团队把精力花在"跑更大的模型"上，却忽略了"怎么让多个用户同时用这个模型"的工程问题，最后上线就崩。搞推理服务，调度和限流做好，比换一张更贵的卡有用得多。

从实操角度，我推荐以下组合：令牌桶（主限流）+ 滑动窗口（二级削峰）+ 加权公平队列（优先级调度）+ Continuous Batching（显存弹性）+ MIG（可选隔离）。这套组合在 2026 年的技术栈里已经非常成熟，只要硬件配置到位，30 分钟就能部署上线。一万网络深耕 IDC 19 年（成立于 2007 年），深圳南山总部，自营机柜最快 1 分钟上架，A100 40G 单卡 ¥2800/月、H100 8 卡整机月付 ¥8–12 万、AI 算力云弹性切片 ¥210 起，工程师 1 对 1 部署 CUDA 全栈 + 限流策略配置，从单卡试水到 8 卡旗舰都有覆盖。记住：选 GPU 服务器租用方案时，别只看卡的价格，更要看服务商能不能帮你把限流和调度策略落地——卡是死的，算力是活的，调度得好，一张卡能顶三张卡用。