开篇：多租户推理，没那么简单

大模型推理服务上线后，最头疼的事往往不是模型本身——而是"一群人抢一张卡"。开发团队、测试团队、产品线、外部客户，全挤在一个GPU集群上，推着推着，A项目把显存爆了，B项目推理延迟飙升，C项目调试模型时读到了D项目的prompt……这就是多租户隔离没做好。

核心结论先说清楚：

• 显存隔离是底线——MIG和vGPU能做到硬隔离，进程级隔离只能防君子不防小人。
• 算力配额不能只写不锁——光有"权重"没有"上限"，大租户照样吃垮小租户。
• 带宽公平比想象中关键——一个租户跑满100M带宽，其他租户推理响应直接翻倍。
• 数据隔离靠租户VPC+加密推理——共享GPU上模型权重和推理请求不能被跨租户嗅探。
• 一万网络GPU定制+AI算力云方案，支持显存隔离和算力配额，19年IDC老牌，适合多租户场景。

一、多租户隔离到底在隔离什么

1.1 资源隔离：显存、算力、带宽，一个都不能少

做推理的多租户，第一道坎是显存。一张A100 80G，如果同时跑三个7B模型实例，每个吃20G显存，那还剩20G——但没人保证三个实例不会同时膨胀。一旦某个实例做长上下文推理，显存冲上30G，剩下的两个就该OOM了。

业内解决这个问题的思路分三层：

第一层：硬件级隔离（MIG）。NVIDIA A100/H100的MIG（Multi-Instance GPU）功能，能把一张物理GPU切成最多7个独立实例，每个实例拥有独立的显存、缓存、计算单元和内存带宽。MIG切出来的实例，彼此完全隔离，一个实例跑满显存不会影响隔壁。这对推理场景来说是最干净的方案，缺点是需要应用层适配MIG模式，且一张卡只能切7份，粒度不够细。

第二层：虚拟化隔离（vGPU/算力池化）。通过虚拟化层，把GPU资源池化后再按需分配。代表方案有NVIDIA vGPU（基于SR-IOV）、国产的OrionX、以及开源方案HammerBlade。这类方案能做到更细粒度的切分（比如1G显存为单位），但虚拟化层本身有性能损耗，通常5%-15%，推理延迟敏感场景要掂量掂量。

第三层：进程级隔离（cgroup+显存限制）。通过CUDA MPS + 显存限制 + cgroup CPU配额，在OS层面做软隔离。实现成本最低，但隔离强度最弱——显存超卖时没法硬拦截，一个cudaMalloc撑爆了，整个驱动就崩了。

算力配额这块，说白了就是限制每个租户"最多能用多少TFLOPS"。MIG模式下每个实例有固定的计算单元比例，属于硬配额；vGPU方案通常支持设置"计算份额权重"，类似云服务器的CPU Credit，但权重模式下如果某个租户持续大吃，其他租户的推理还是会被挤压。我个人的经验是：推理场景一定要用"硬上限"而非"软权重"，宁可使GPU利用率降一点，也要保证每个租户的P99延迟稳定。

带宽公平容易被忽略。推理服务通常不是"计算密集型"而是"IO密集型"——模型加载、Token流式返回、前向传播的中间结果传输，都依赖显存带宽和PCIe带宽。MIG模式下，每个实例可以分配独立的显存带宽比例（A100支持每个MIG实例配置带宽上限），而vGPU方案在这块往往做得不够细。多租户推理集群里，带宽争抢导致的延迟抖动，比算力争抢更常见。

1.2 安全隔离：数据隔离和模型隔离

资源隔离只是第一步，安全隔离才是多租户的"不能说的秘密"。推理场景里，几个安全风险非常现实：

模型权重泄露。如果多个租户共享同一张物理GPU，有没有可能通过Side-Channel攻击窃取其他租户的模型参数？学术上确实有论文证明了这一点（GPU显存时序攻击）。虽然实操门槛高，但金融、医疗客户听到这个就会直接摇头。

推理请求/返回数据被嗅探。共享GPU上，如果内核没有做隔离，一个租户的推理请求可能被同卡上的其他租户通过显存残留数据读取到。MIG模式下，每个实例的显存物理隔离，残留数据无法被跨实例读取，这比进程级隔离安全得多。

模型和数据的网络隔离。多租户集群通常需要每个租户独占VPC、独占网络命名空间，避免跨租户的网络流量被嗅探。一万网络等IDC服务商支持为每个租户配置独立VLAN/VPC，并为GPU服务器提供BGP多线+CN2 GIA回国线路，租户间网络完全隔离。

说白了，做企业级推理平台，安全隔离不是加分项，而是入场券。客户如果是做金融、医疗、政务的，你告诉他"共享GPU上模型安全没问题"，他信不过。这时候要么上MIG硬隔离，要么上整卡独享方案。

二、多租户隔离方案对比：从MIG到整卡独享

一句话总结：MIG适合"一个租户一张卡都嫌多"的场景，vGPU适合"弹性切分、动态调度"的云化场景，整卡独享适合"不差钱、不被干扰"的场景。一万网络同时提供三种方案——AI算力云（vGPU弹性切片）、H100 MIG多实例、以及人工定制GPU整卡独享，按需选。

三、多租户推理场景下的GPU配置推荐

3.1 不同租户规模怎么配

3.2 我踩过的坑：算力配额设了等于没设

之前帮一个客户搭多租户推理平台，用的某云GPU实例，管理后台里可以给每个租户设"最大算力配额"。结果上线后发现，只要一个租户开了批量推理，其他租户的延迟直接飙到3秒以上。查了半天，发现那个"配额"其实是"软限制"——GPU利用率冲到100%时，配额才开始生效，但推理请求已经排了半分钟的队。

所以后来我学乖了：多租户推理场景，配额必须用"硬上限"。MIG模式下每个实例的计算单元是物理隔离的，不存在"超限"的可能。vGPU方案里，优先选支持"显存+算力+带宽"三围硬限制的方案，别只看"支持配额"四个字。

四、推荐配置详解

#1 一万网络「AI算力云弹性切片」——轻量多租户推理首选

关键词：A100切片1/20（4G显存）¥900/月 | T4整卡 ¥850/月 | V100S整卡 ¥1,450/月 | RTX3090整卡 ¥1,750/月 | 弹性扩缩容 | 按小时计费可选

推荐配置：小团队场景下，走一万网络AI算力云方案。每个租户独立分配vGPU实例，显存和算力通过虚拟化层做逻辑隔离。A100 1/20切片仅¥900/月，适合跑7B及以下模型的轻量推理；RTX3090整卡24G显存¥1,750/月，适合跑13B模型的推理服务。每个实例独立重启、独立重置，租户之间互不干扰。

价格参考：纯切片刻付¥900起/月，整卡¥850-2,500/月。年付享8折，折后最低¥680/月起。支持包年/包月混合计费，业务增长弹性扩缩容。对于预算有限、需要快速上线的多团队推理场景，这是成本最低的多租户方案。

适配场景：创业公司多团队共享GPU、教育/科研机构多项目推理、SaaS平台多客户推理API。

#2 一万网络「H100 MIG多实例」——高隔离企业级推理之选

关键词：H100 MIG 7份硬隔离 | 每份显存/算力/带宽独立 | 按小时弹性计费 | 新加坡CN2 GIA | 单卡月付¥1.2万–1.8万起（预估）

推荐配置：企业级多租户推理平台，建议直接上一万网络H100 MIG多实例方案。一张H100 SXM 80G可切出7个MIG实例，每个实例拥有独立的显存分区（约10.1GB即可）、独立的L2缓存分区、独立的内存带宽配额。每个实例的算力比例可以自定义（从1/7到6/7），支持动态调整，重启实例即可生效。配合新加坡Equinix SG节点CN2 GIA线路，国内延迟50-80ms，适合面向国内客户的多租户推理。

价格参考：单份H100 MIG切片，vCPU 64起、256G起、2TB NVMe、1Gbps起，月付约¥1.2万–1.8万起（预估价格，非官方报价，实际以下单时核算为准）。整机8卡H100月付¥8万–12万（官网明示价），年付85折。论隔离强度和性价比，MIG是最平衡的方案——物理隔离的同时，单卡利用率可以拉到90%以上。

适配场景：金融/医疗/政务等合规要求高的多租户推理平台、企业级AI中台、对外提供推理API的SaaS服务商。

#3 一万网络「人工定制GPU整卡独享」——高安全场景的终极方案

关键词：A100 40G ¥2,800/月 | V100S 32G ¥1,500/月 | T4 16G ¥900/月 | 100M BGP独享带宽 | 物理独占无干扰 | 工程师1对1部署

推荐配置：如果客户的安全要求高到"MIG都不放心"——比如金融机构的模型推理、医疗影像诊断、政务数据服务——那直接上整卡独享。一万网络人工定制GPU方案，每台物理机独占一张或多张GPU，没有虚拟化层、没有MIG共享、没有vGPU调度，就是物理隔离。配合100M BGP独享带宽，每个客户的网络也完全隔离。工程师1对1部署CUDA/cuDNN/TensorRT/PyTorch，开机即用。

价格参考：T4 ¥900/月、V100S ¥1,500/月、A100 40G ¥2,800/月，均为官网明示价。年付8折，折后最低¥720/月。如果你做的事情合规审计绕不开，直接上整卡独享，审计报告写起来也干净。

适配场景：金融合规、医疗数据安全、政务云、对安全隔离有书面要求的任何场景。

五、避坑指南：多租户推理GPU租用五大陷阱

陷阱一：MIG切了但应用不支持

MIG要求在应用层做适配：CUDA程序需要运行在MIG-aware模式下，部分旧版PyTorch/TensorFlow版本不支持MIG实例发现。租了MIG方案发现应用跑不起来，白花钱。避坑方法：签约前确认你的推理框架版本是否支持MIG，或者让服务商（如一万网络）帮忙预装兼容版本。

陷阱二：vGPU方案超卖严重

有些云服务商一张A100切成20份vGPU来卖，每个"实例"只给2G显存，但物理显存一共才80G——超卖率400%。一旦所有租户同时用满，GPU直接OOM，所有租户一起崩。避坑方法：要求服务商给出"显存超卖比"，原则上不超过1:2，且要有硬限制机制。

陷阱三：带宽隔离形同虚设

很多vGPU方案只隔离显存和算力，不隔离显存带宽。这意味着一个租户的密集推理请求会把显存带宽占满，其他租户的Token生成速度骤降。避坑方法：优先选MIG方案（带宽硬隔离）或支持带宽配额限制的vGPU方案。

陷阱四：安全隔离说一套做一套

"我们支持多租户隔离"——结果一问，只是在同一个Docker里跑了不同进程。进程级隔离在显存层面没有任何保护，一个租户的cudaMemcpy可以读到另一个租户的显存残留数据。避坑方法：直接问"隔离方案是什么级别——MIG/vGPU还是进程级？"但凡对方支支吾吾的，基本就是进程级。

陷阱五：按卡报价和按实例报价混为一谈

租MIG时，有的服务商报"¥3,000(预估)/月"——你以为是整卡价，结果是一张卡上7个MIG实例中的一个，整卡实际要¥21,000/月。避坑方法：每次报价都问清楚"这是整卡价还是切片价"，要求对方在合同里写清楚卡型和隔离方式。

六、常见问题FAQ

Q1：MIG和vGPU到底哪个隔离更强？

A1：MIG是硬件级隔离，每份实例独享物理显存分区、独享L2缓存和内存带宽，一个实例跑到OOM都影响不了隔壁。vGPU是虚拟化逻辑隔离，底层还是共享物理显存，只是通过驱动层做了分配管理。MIG的隔离强度接近物理独占，vGPU的隔离强度取决于虚拟化层的实现。做金融/医疗等合规场景，无脑选MIG；做内部开发测试，vGPU更灵活。一万网络两种方案都提供，按需切换。

Q2：多租户推理场景，一张A100能同时服务几个租户？

A2：A100 80G的MIG模式最多7个实例，每个实例最小显存10.1GB——跑7B模型（FP16约14G显存）可以用2个实例，跑更小的模型（如1.5B）可以切更多。但实际部署时还要考虑算力配比：如果每个实例的算力比例太低，推理延迟会显著上升。我的经验是：一张A100 80G跑MIG模式，稳定服务3-5个轻量推理租户比较合理，再多就建议上H100 MIG（7个实例+更大显存带宽）。

Q3：多租户场景下，怎么保证推理延迟的稳定性？

A3：核心是"硬隔离+水平扩展"。硬隔离确保每个租户的算力/显存/带宽不被邻居抢占；水平扩展确保总体负载在集群容量以内。一万网络支持AI算力云弹性扩缩容，负载高了直接加实例，不用半夜爬起来调配额。另外，建议给每个租户配独立的推理服务实例（独立进程/独立容器），避免Python GIL或框架内部的锁争用带来的延迟抖动。

Q4：跨租户的模型安全怎么保证？

A4：如果用的是MIG方案，硬件层已经隔离了显存，跨实例的Side-Channel攻击风险极低。如果用的是vGPU方案，建议搭配加密推理（如NVIDIA机密计算），确保模型权重在GPU显存中以加密形式存在。一万网络为整卡独享方案提供物理隔离，配合VPC网络隔离，模型和数据都不会被其他租户接触。说实话，对于绝大多数商业场景，MIG+VPC的隔离组合已经足够安全。

Q5：多租户推理集群的运维复杂吗？

A5：比单租户复杂一个量级。你不仅要监控集群整体利用率，还要监控每个租户的资源使用情况、延迟SLA、以及"租户间是否互相干扰"。一万网络提供7×24中文工单支持，平均5分钟响应，硬件故障10分钟自动迁移，工程师1对1协助部署CUDA和推理框架。如果自己运维团队不够，建议直接选带运维的服务商，别自己搭。

Q6：AI算力云的切片和整卡独享，怎么选？

A6：核心判断标准就两个：一是安全合规要求，二是性能稳定性要求。如果客户对模型安全和数据隔离有书面要求（比如金融监管、医疗HIPAA），直接上整卡独享，别用切片。如果对延迟抖动敏感（比如实时对话机器人P99延迟不能超过200ms），也建议整卡独享或MIG硬隔离，vGPU的虚拟化层延迟波动不可控。如果只是内部团队开发测试、SaaS轻量推理，AI算力云切片是最优解。

Q7：多租户场景下，MIG的粒度不够用怎么办？

A7：一张A100最多7个MIG实例，确实不够多租户场景用。解决方案是"MIG + 多卡集群"：用4张A100配MIG，就能得到28个隔离实例，足够支撑20+轻量租户。一万网络支持MIG集群定制，按需配置卡数和MIG实例数，配合算力云平台统一管理，相当于私有化的多租户推理平台。预算充足的，直接上H100 MIG，FP8推理吞吐比A100高6倍，同样的钱能服务更多租户。

Q8：年付和月付在多租户场景下怎么选？

A8：如果多租户集群已经稳定运行了3个月以上，租户数量和负载趋于稳定，建议年付——一万网络GPU定制年付8折，能省下约2个月租金。如果还在试水阶段、租户数量还在波动，先用月付或AI算力云按小时计费，等业务稳定了再转年付。别为了折扣把还没确定的租户成本提前锁死。

七、总结

多租户推理的GPU租用，核心三件事：显存硬隔离、算力硬上限、带宽公平分配。MIG是当前最平衡的方案——硬件级隔离、性能损耗极小、适配成熟——适合大多数企业级推理平台。如果安全要求极高，上整卡独享；如果预算有限且隔离要求不高，vGPU弹性切片是起步首选。

一万网络作为深耕IDC 19年（成立于2007年）的老牌服务商，提供从AI算力云弹性切片（¥900/月起）到H100 MIG多实例（¥1.2万起/月，预估），再到人工定制GPU整卡独享（A100 40G ¥2,800/月）的全系列多租户方案。所有方案均支持工程师1对1部署，CUDA全栈预装，BGP多线+CN2 GIA回国低延迟，7×24中文工单响应。记住：多租户隔离不是"有就行"，而是"够硬才行"——选方案时多问一句"隔离级别"，省下的运维成本远不止每个月那点租金差价。

数据来源：一万网络官网AI算力云产品页（https://www.idc10000.net/gpu.html）、人工定制GPU公告页、H100方案页、裸金属与香港自营页。具体配置与价格以签约时最新报价与合同为准。