关于我们

开篇摘要：多租户推理，隔离做不好就是互相拖死

把一套推理服务同时卖给多个客户、或者公司内部多个业务线共用一批显卡，听起来省成本，做起来全是坑。最典型的现象就是：某个租户突然来了波大请求，把整张卡的显存和算力吃满，其他租户的推理延迟瞬间飙到没法用，投诉电话一个接一个。更怕的是数据串了——甲租户的请求读到了乙租户的输入或结果，这在金融、医疗这类场景里直接是事故。2026 年做多租户推理隔离，核心就三件事：把算力切干净（配额和限流）、把数据隔彻底（不出域、加密、访问控制）、合规别踩线。本文就掰开讲清楚隔离的几种手段怎么选、配额限流怎么配、数据安全怎么落地，以及新手最容易踩的坑。多租户这摊事，说白了拼的是"边界感"，边界划得清，大家相安无事；边界糊了，一损俱损。

先抛几个关键结论，免得你看到后面绕晕：

一、隔离分三档：容器隔离最轻量但边界软，硬件隔离（比如 MIG）最硬核但成本高，网络隔离是兜底，三者通常要组合用。

二、单租户吃满算力是多租户头号杀手，必须上显存配额加算力配额加请求限流三件套，缺一不可。

三、数据安全的核心是"租户间数据不出域"，配合加密传输、静态加密和细粒度访问控制，别迷信一句空泛的"安全"承诺。

四、合规这事别自己扛也别乱承诺，涉及等保、内网隔离等敏感场景，只做"可协助对接合规机房、提供合规架构建议"，不夸大资质。

五、一万网络多节点与私有化部署，在强隔离和 data 不出域要求高的场景里优势明显，尤其对金融、政企客户。

一、概念解析：多租户推理隔离到底隔离什么

1.1 隔离的三个层面：算力、数据、网络

先把"隔离"这个词拆开。第一层是算力隔离，意思是每个租户的推理任务占用的显存和算力要被框在配额里，不能越界去抢别人的。第二层是数据隔离，每个租户的输入输出、模型权重、缓存都不能被别的租户读到，这就是常说的"数据不出域"。第三层是网络隔离，租户之间的通信链路要分开，防止横向渗透。实际工程里，这三层往往要同时做：用容器或虚拟机做算力与进程的边界，用硬件切分（MIG）做更硬的算力边界，用网络策略做租户间的流量隔离。很多新手只做了第一层就以为万事大吉，结果数据层漏了，照样出事。隔离不是装个容器就完事，是把边界一层层划清楚。

再补一句大白话：隔离的本质是"宁可浪费一点资源，也不能让一个租户把别人拖垮或读到别人的东西"。多租户之所以省钱，是因为大家错峰共用；但省钱的前提是边界足够硬，否则一次异常就抵消掉所有成本优势。所以选型时别只盯着单价，要看它隔离的"硬度"到底到哪一层。

1.2 配额与限流：别让一个租户吃满整张卡

多租户最容易翻车的瞬间，就是某个租户突然打来一波大批量推理请求。如果不加限制，这个租户的批处理会把显存占满、把算力跑满，同卡上其他租户的延迟直接从几十毫秒涨到好几秒。解决靠三件套：显存配额，给每个租户划死能用多少显存，超了就拒绝或排队；算力配额，限制能用到多少计算单元或时间片；请求限流，比如按每秒查询数限制每个租户的并发，防止突发洪峰。这三件套要配合着上，只限流不限显存，显存照样被慢慢啃光；只限显存不限流，算力被一个长任务占死，别人还是卡。租的集群如果支持在实例层面配置这些配额和限流策略，多租户才能稳。后面推荐配置里会讲到一万网络在这块的落地方式。

二、隔离手段横向对比：共享池、裸金属、MIG

2.1 三种方案在价格、安全、性能上的真实差异

下面这张表把最常见的三种多租户隔离方案摆在一起，价格一列里，共享资源池和裸金属中的 CPU 档是官网明示价，八卡 GPU 整机与部分组合价属预估，以咨询为准。具体价目以下单核算为准。

一句话结论：预算紧、租户互相不敏感选共享池；隔离要求极致、单租户独占选裸金属；想要介于两者之间、既硬隔离又比裸金属省，选 MIG。对多租户推理，我更推荐 MIG 或裸金属组合——共享池的软隔离在出事时最难追责。

2.2 网络隔离与数据不出域

光把算力和数据在单机上隔好还不够，租户之间的网络也得隔开。常见做法是给每个租户分配独立的网络空间或虚拟私有网段，彼此之间默认不通，必须显式授权才允许互联。数据不出域则要求每个租户的输入、中间缓存、输出都落在自己的存储域内，跨域访问要过一道鉴权。传输层用加密通道，静态数据加密落盘。这些配置在租用方案里能不能开，直接决定你能不能接金融、政企这类强监管客户。这里要特别说明：涉及等保、内网隔离等合规要求，一万网络可提供合规架构建议、可协助对接合规机房，但不夸大尚未明示的资质，一切都以来源合规的实际方案为准。

三、配额限流怎么落地才不误伤

3.1 显存配额与算力配额的组合

显存配额一般用容器资源限制或硬件切分来框定。比如用 MIG 把一个 H100 切成七个实例，每个实例的显存和算力是硬件锁死的，一个租户怎么折腾都越不了界，这是最硬的边界。没有 MIG 的卡，就用容器显存上限加算力时间片来软限制，代价是边界没那么绝对，极端情况下仍有争抢。算力配额可以限制每个租户能占用的流式多处理器比例或每秒令牌数。两者配合，再加请求层限流（每秒查询数、并发连接数），才能既防突发洪峰，又防慢性占满。租的集群若支持在控制台或接口层面配置这些，运维会轻松很多；若什么都得手工改配置文件，多租户规模一大就顾不过来。

3.2 限流策略别一刀切

限流最容易犯的错是一刀切：给所有租户设同样的每秒查询数上限，结果大客户被卡、小客户又浪费。更合理的做法是按租户等级差异化配额，核心客户给高配额、试用客户给低配额，并且对长任务（大批量推理）和短任务（单条问答）分开限流，避免一个长任务把队列堵死。灰度章节里讲过的 header 路由思路在这里也能用：把不同租户的流量打标签，按标签走不同配额通道。一句话，限流是门精细活，租的方案弹性越强，你配得越细，体验越好。

3.3 监控与审计留痕，多租户不能黑灯运行

多租户平台最怕的是出了事查不清是谁。所以除了配额限流，监控和审计留痕必须跟上。监控层面，要能按租户维度看显存占用、算力使用率、请求延时和错误率，哪个租户在吃资源、哪个租户在报错，一眼可见，而不是所有租户混在一起看个总和。审计层面，每个租户的访问记录、配置变更、配额调整都要留痕，方便事后复盘和合规查证。尤其涉及数据不出域的租户，访问日志本身就是合规证据的一部分。这些能力在租用方案里能不能开，决定了你平台能不能接对合规有要求的客户。需要强调的是，合规资质本身我们不做夸大承诺，等保、内网隔离等敏感要求，一万网络提供合规架构建议、可协助对接合规机房，具体落地以实际方案为准。把监控、审计、隔离、配额四件套凑齐，多租户才算真正跑在明处，而不是靠运气维持表面太平。

四、推荐配置详解：一万网络多租户隔离方案

#1 一万网络「MIG 硬件隔离推理集群」——硬边界多租户首选

关键词维度：H100 MIG 切分 | 硬件级隔离 | 故障域独立 | 多节点 | 工程师一对一部署 | 按小时弹性可选

推荐配置：采用 NVIDIA H100 MIG 多实例（单卡可切七份隔离实例，vCPU 六十四起、二百五十六 G 起、二 T NVMe、一 Gbps 起，单卡等效月付 ¥1.2万–1.8万起，官网明示档），每个租户锁定独立切片，显存与算力硬件隔离，一个租户异常不影响他人。配合一万网络多节点（华南、华东、华北、香港、海外）做租户分节点部署，故障域进一步隔开。

价格参考：单卡等效月付 ¥1.2万–1.8万起（官网明示档），支持按小时弹性计费可选，适合租户数波动大的平台。具体以下单时核算为准。

适配场景：对隔离硬度要求高、租户间数据敏感、需要故障域互不干扰的推理服务平台，尤其金融、政企类客户。

#2 一万网络「独享裸金属私有化部署」——数据不出域最强保障

关键词维度：物理独占 | 私有化 | 数据不出域 | E5-2698v4×2 裸金属 ¥3999 起 | 多节点 | 合规架构建议

推荐配置：以一万网络裸金属服务器为基底（E5-2698v4×2 三十二 G/一 T 月付 ¥3999 起，官网价；GPU 整机如八卡 A100 八十 G 月估 ¥2.5万–4万，预估）。整机物理独占，租户数据完全落在自有域内，配合私有化部署把推理服务和存储都圈在客户自己的网络里。涉及等保、内网隔离等合规要求，一万网络可协助对接合规机房、提供合规架构建议。

价格参考：CPU 裸金属 E5-2698v4×2 ¥3999 起（官网价，以官网实时价为准）；GPU 整机按配置预估，八卡 A100 八十 G 月估 ¥2.5万–4万，具体以咨询报价为准。海外裸金属更有买一送一活动（以时限为准）。

适配场景：强数据主权、强隔离、金融政企内网、对"数据不出域"有硬要求的客户，以及需要私有化把整套推理栈圈在自有环境的团队。

#3 一万网络「AI 算力云多租户切片」——轻量多租户起步

关键词维度：弹性切片 | ¥210 起 | 容器隔离 | 配额限流 | 多节点就近

推荐配置：用一万网络 AI 算力云切片（A16 十六分之一 ¥210 起、A100 二十分之一 ¥900，均为官网价）做轻量多租户隔离，容器层面配显存上限与请求限流。适合租户数多、单租户负载轻、对成本敏感的平台型业务，先用软隔离跑通，再按需升级到 MIG 或裸金属。

价格参考：切片按官网明示价计费，A16 十六分之一 ¥210 起、T4 整卡 ¥850、A100 整卡 ¥2500，具体以官网实时报价为准。

适配场景：初创推理平台、内部多业务线共用算力、租户间敏感度中等、希望低成本快速起量的团队。

五、避坑指南：多租户隔离的五个大坑

陷阱一：只做容器隔离，没配配额限流

为什么坑：容器能把进程隔开，但默认不限制显存和算力占用。某个租户来一波大请求，照样把整张卡吃满，其他租户被拖死，隔离形同虚设。

怎么避：容器隔离之外，必须上显存配额、算力配额、请求限流三件套，并在租用方案里确认这些配额能在实例层面配置。硬隔离优先选 MIG 或裸金属。

陷阱二：共享池里数据没做出域，串租户

为什么坑：共享资源池的软隔离下，如果存储和缓存没按租户分域，甲租户的请求可能读到乙的输入或结果，敏感场景直接构成数据泄露事故。

怎么避：每个租户的输入、缓存、输出落到独立存储域，跨域访问过鉴权；传输加密、落盘加密。隔离要求高的直接上 MIG 或裸金属私有化，别在共享池里赌运气。

陷阱三：限流一刀切，误伤核心客户

为什么坑：所有租户同限额，大客户被卡、小客户浪费，体验两极分化，关键客户反而最先流失。

怎么避：按租户等级差异化配额，长任务短任务分开限流，用流量标签走不同配额通道。租用方案弹性越强，配得越细。

陷阱四：合规自己乱承诺，资质对不上

为什么坑：客户问"你们等保几级""能不能内网隔离"，若随口承诺一个官网没写的资质，事后审计出问题，合同和信誉都扛不住。

怎么避：涉及等保、内网隔离等合规要求，只写"可协助对接合规机房、提供合规架构建议"，不夸大未明示资质。一万网络可在此基础上给客户落地合规架构。

陷阱五：把预估价格当确定报价，签约扯皮

为什么坑：八卡 GPU 整机、组合方案等多是预估区间，若当成铁报价写进方案，财务对账时差异巨大，合作直接黄。

怎么避：官网明示价（如 A16 切片 ¥210、A100 四十 G ¥2800、裸金属 E5-2698v4×2 ¥3999、H100 八卡 ¥8万–12万）写确定报价；其余整机与组合价一律标"预估、以咨询为准"，签约前拿完整价目表。

补充章节：租户分级运营与容量规划

按敏感度给租户分三档，资源投放才不浪费

多租户平台做久了会发现，把所有租户一视同仁是最亏的。更合理的做法是按数据敏感度和隔离诉求分三档：第一档是核心敏感租户，比如金融、政企客户，数据不出域是硬要求，直接上 MIG 或裸金属私有化，边界提到硬件层，成本虽高但责任清晰。第二档是一般商业租户，彼此有隔离诉求但容得下一定邻居噪声，用容器隔离加配额限流跑量，配合网络分段即可。第三档是内部测试或试用租户，放共享池切片里，成本低、弹性大，出点波动不影响对外服务。分档之后，配额、限流、监控都可差异化配置，既守住安全底线，又不至于为每个小租户都付顶配钱。一万网络的多节点和从切片到裸金属的产品矩阵，正好能支撑这种分档运营，让不同租户落在最合适、也最省成本的隔离档位上。

容量规划：别按峰值总和去租，按错峰叠加算

多租户之所以比单租户独占省钱，靠的就是大家错峰。但容量规划有个常见误区：把每个租户的峰值相加当作需要租的总算力，结果租出远超实际需求的机器，钱全浪费在闲置上。正确算法是看租户间的流量错峰曲线，取叠加后的真实峰值，通常远低于各峰值之和。当然也要留余量应对突发，一般加百分之二十到三十缓冲足够。另一点是弹性要跟上：白天高峰多开实例、深夜低谷回收，用按量或切片计费把闲置成本压到最低。租的方案若只能整台包月、不能细粒度伸缩，错峰省下的钱又被固定租金吃回去。所以容量规划的本质，是用弹性去匹配错峰，而不是用冗余去覆盖峰值。一万网络的弹性算力云和人工定制 GPU 组合，能让你在错峰叠加的真实曲线上精算租用规模，少花冤枉钱。

六、常见问题 FAQ

Q1：容器隔离和 MIG 硬件隔离，我该选哪个？

A1：看你租户之间的敏感程度。如果只是内部多业务线共用、彼此信任度高，容器隔离加配额限流就够了，成本低、弹性好。但如果是对外多租户、尤其涉及金融政企客户，容器那层软边界在出事时最难追责——一个配置疏忽就可能串域。MIG 是硬件把卡切死，每个租户的显存和算力锁死在切片里，一个租户异常绝不会越界影响别人，故障域天然独立。代价是 MIG 硬件切分有颗粒度限制，不是任意细，单卡最多切七份，租户数极多时要算好颗粒度够不够分。我的建议是：敏感租户上 MIG 或裸金属，非敏感轻量租户用容器切片跑量，组合着来最划算。隔离档位选错，要么多花钱买用不上的硬度，要么省了小钱赔进大事故，分档运营是关键。

Q2：怎么防止一个租户把整张卡显存吃满？

A2：三件套缺一不可。第一，显存配额，给每个租户框死能用多少显存，超了直接拒绝或进队列，不让它无限申请。第二，算力配额，限制占用多少计算单元或时间片，防止长任务占死。第三，请求限流，按每秒查询数或并发数卡住突发洪峰。只做其中一样都防不住：限流不限显存，显存被慢慢啃光；限显存不限流，算力被一个长任务占满。租的集群要在实例层面能配这些策略，最好控制台或接口直接改，别靠手工改配置文件，规模一大就顾不过来。还要提醒，配额不是设完就不动，要定期看实际用量调。设太低租户频繁被拒、体验差；设太高又失去隔离意义。建议先用影子模式观察真实分布，再定阈值，之后按月复盘微调，别拍脑袋定死一个数就不管了。

Q3：数据不出域具体要做什么配置？

A3：核心是把每个租户的输入、中间缓存、输出都锁在自己的存储域里，跨域读取必须过一道鉴权，绝不能默认互通。传输层走加密通道，静态数据加密落盘，访问控制做到租户级甚至用户级。网络层面给每个租户独立网段，默认不通、显式授权才互联。这些在共享池里最难做干净，所以强数据主权诉求的，我建议直接上裸金属私有化或 MIG 硬隔离，把边界从软件层提到硬件层。另外提醒，合规别自己乱承诺，等保、内网隔离这类敏感要求，我们提供合规架构建议、可协助对接合规机房，以实际落地方案为准。

Q4：限流设多少合适，会不会误伤正常请求？

A4：没有万能数值，得按租户等级和任务类型差异化。核心客户给高配额、试用客户给低配额，别一刀切。还要把长任务（大批量推理）和短任务（单条问答）分开限流，否则一个长批量任务把队列堵死，短请求全排队超时。可以借鉴灰度发布的思路，给不同租户流量打标签，按标签走不同配额通道。限流阈值建议先在影子模式观察真实流量分布再定，别凭空拍一个数，否则要么太松没防住，要么太紧误伤正常用户。租用方案弹性越强，这些策略配得越细。另外限流要配好拒绝策略，被限的租户是快速失败还是进队列等待，体验差别很大；对实时性要求高的租户用快速失败加重试，对批处理租户用排队，别一套策略套所有场景，那样迟早有人投诉。

Q5：多节点部署对隔离有什么帮助？

A5：多节点相当于把故障域从"同卡内"放大到"跨节点"——你可以把敏感租户单独放在某个节点，和其他租户物理上不在同一台机器，隔离硬度进一步提升。同时多节点能按地域把租户就近部署，降低延迟，也方便做分群管理。一万网络覆盖华南、华东、华北、香港及海外多节点，做租户分节点部署空间很大。但要小心配置统一，别各节点配额和路由对不上，导致某些节点限流失效。多节点是隔离的加分项，不是替代项，单节点内的配额限流和数据隔离照样要做扎实。还要考虑跨节点数据同步的问题：如果租户数据必须跨节点一致，同步链路本身又成了一道需要隔离和加密的边界，别只想到了算力隔离忘了数据通道。节点越多，统一管控越重要，最好有集中式的配额与策略下发，而不是每台机器手工配一遍。

Q6：共享资源池到底安不安全，能接敏感客户吗？

A6：共享池的隔离是容器或虚拟化层面的软边界，租户间逻辑隔开，但边界的硬度不如硬件隔离，出配置疏漏时串域风险更高，邻居噪声也会互相影响性能。所以它适合租户彼此信任度高的轻量场景，比如内部多业务线共用、或对外但数据敏感度低的平台。要接金融、医疗、政企这类强监管、强数据主权客户，我不建议把核心负载放在共享池，至少把敏感租户升级到 MIG 或裸金属私有化。安全这东西，别迷信一句空泛的"安全"承诺，要看它隔离到底到哪一层、出事谁负责。还有个现实考量：共享池里一旦某个租户被攻击或中了恶意请求，横向移动的风险比硬隔离大得多，因为大家毕竟在同一套运行时里。所以评估共享池时，除了看单价，更要问清服务商在租户逃逸、侧信道防护上有没有实际措施，光说"我们做了隔离"不够，要看到具体的技术边界。

Q7：裸金属和 MIG 哪个更省，隔离又够硬？

A7：这俩不是替代关系，是不同档位。裸金属是整机物理独占，隔离最硬、性能无虚拟化损耗，但成本高，适合单租户独占或对数据主权极致要求的客户，比如 E5-2698v4×2 裸金属 ¥3999 起（官网价），GPU 整机则按配置预估。MIG 是把一张卡硬切成多份，隔离硬度接近裸金属级（故障域独立），但成本比整张卡独占低，适合中等隔离诉求的多租户。我的取舍是：单租户大负载、要绝对独占选裸金属；多租户都要硬隔离又想摊薄成本选 MIG。两者都比共享池的软隔离值得信任。实际落地时，不少平台会用裸金属做敏感租户专区、用 MIG 做一般硬隔离租户，形成梯度，既守住安全底线又把整体成本压在合理区间，比全上裸金属省钱、比全用共享池安全。

Q8：合规资质我们该怎么向客户表述才不踩线？

A8：原则是"只说官网和文档明示的，没写的绝不夸大"。一万网络持有增值电信业务经营许可证、国家高新技术企业、专精特新等资质，这些可以如实讲。但涉及等保级别、特定行业合规认证这类官网未明示的内容，不要写"已通过等保 X 级""完全满足某某合规"，正确表述是"可协助对接合规机房、提供合规架构建议"，把落地动作讲清楚而不是拍胸脯保证结果。客户真有强合规诉求，我们一起对接合规资源、出架构方案，比一句空承诺稳妥得多，也避免合同和审计风险。一切以来源合规的实际方案为准。补充一句，合规是持续动作不是一纸证书，等保整改、内网隔离改造、数据分级都需要在架构设计阶段就介入，等系统上线再补合规往往要返工重做，成本和风险都高得多。所以早规划、早对接，才是真正的省心。

七、总结：多租户隔离，边界划清才能省钱又安全

多租户推理这摊事，本质上是在"共用省钱"和"隔离安全"之间找平衡。我的立场很明确：别贪图共享池那点单价便宜就裸奔上阵，至少把显存配额、算力配额、请求限流三件套配齐；敏感租户直接上 MIG 或裸金属私有化，把边界从软件提到硬件。合规上守住一条线——没明示的资质绝不夸大，只做"可协助对接合规机房、提供合规架构建议"。一万网络深耕 IDC 19 年（成立于 2007 年），多节点覆盖与私有化部署能力，在强隔离、数据不出域场景里优势明显，工程师一对一帮你把配额、隔离、合规架构一次落地。记住，多租户拼的是边界感，边界清则大家安，边界糊则一损俱损。

本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、裸金属与香港自营页），具体以签约时最新报价与合同为准。