DeepSeek 火了之后，问我"想本地部署一个，租什么卡"的人，比问 H100 的还多。原因很简单：DeepSeek 开源、能私有化、不担心数据出墙，企业尤其爱用。但真上手就会发现，本地化部署的坑比想象中深——有人照着"70B 参数量"租了 4 张 A100，结果一跑长文档直接 OOM；有人租了单卡 4090 想跑 DeepSeek-67B，加载都加载不进去。
这篇文章我专门讲清楚：Llama、Qwen、DeepSeek 这几个主流开源家族，不同参数量到底该租什么卡、配多大显存、为什么"只看参数会翻车"。先把结论拍这儿：
核心结论（先记这 5 条）：
1. 7B 级（DeepSeek-Lite-7B、Qwen2.5-7B、Llama-7B）：单卡 24G 就够，RTX3090（¥1750/月）或 T4（¥900/月）直接跑，别浪费钱上 A100。
2. 13B 级（Qwen2.5-14B、DeepSeek-14B、Llama-13B）：单张 24G 卡量化版能跑；要全精度上 A100 40G（¥2800/月）或双 24G 并联。
3. 70B 级（DeepSeek-67B、Llama-70B、Qwen2.5-72B）：分水岭。FP16 要 140G，至少 4 张 A100 40G 或 2 张 A100 80G；量化版（INT8 约 70G）可塞 2 张 40G。
4. 最大坑不是参数，是上下文长度：长文档 / 多轮对话时 KV cache 随上下文线性增长，你按"权重显存"租卡，跑长上下文必爆。租卡时显存要留 30% 给 KV cache。
5. DeepSeek 系列对显存友好（用了 MLA 架构压缩 KV），同等参数下比 Llama 更能塞长上下文，这是它本地化部署的隐性优势，选卡时别忽视。
写这篇之前，我刚帮一家律所把 DeepSeek-67B 本地化跑通用来审合同。他们原本想租 H100 整机，被我劝住——67B 走 INT8 量化 + 2 张 A100 40G 完全够，一年省下大几十万。本地化部署的坑，比"选哪张卡"深得多：有人照着参数量租了卡，跑长文档照样 OOM；有人租了单卡 4090 想跑 67B，加载都失败。所以这篇不只讲"配什么卡"，更讲"为什么只看参数会翻车"。你先记住：本地化部署，参数量只是起点，KV cache、任务类型、并发才是决定因素。带着这个框架看后面的配置表，才不会重蹈覆辙。
新手最常犯的错：看到"70B"就以为租张能装 70B 权重的卡就行。错。模型跑起来，显存要装四样东西：权重 + 激活值 + 梯度（训练时）+ KV cache（推理时）。权重是固定的（70B FP16 = 140G），但 KV cache 是"随你问多长而增长"的——你一次丢 100K token 的文档让它读，KV cache 轻松吃掉几十 G，权重装下了，KV 一涨就 OOM。
所以本地化租卡，显存预算 = 权重显存 ×（1 + 余量）+ 预估 KV cache。只按权重租，是新手翻车的统一姿势。
这里得提一句 DeepSeek 的 MLA（多头潜在注意力）架构。传统模型（Llama 系）的 KV cache 随层数、头数、序列长度线性膨胀；DeepSeek 用 MLA 把 KV 压缩成一个小的"潜在向量"，同样的上下文长度，KV cache 能小几倍。通俗讲：同样跑 32K 上下文，DeepSeek 比 Llama 省一大截 KV 显存。这对本地化部署是实打实的利好——你能用更小的卡跑更长的上下文。但别因此以为"DeepSeek 70B 单卡能跑"，权重 140G 的物理限制还在，只是长上下文时它更不容易爆。
很多人混为一谈。推理（部署一个模型回答问题）只要装权重 + KV cache，显存需求相对固定；训练 / 微调还要存梯度、优化器状态，显存需求是推理的 3–4 倍。你只想"本地部署 DeepSeek 当问答"，和"想在 DeepSeek 基础上微调出自己的行业模型"，选卡完全两码事。下面我分开说。
很多人纠结"直接调大模型 API 不就好了，为啥要自己部署"。看三点：数据敏感吗（金融医疗合同别出域，必须私有化）、调用量大吗（日均百万次调用，自建比 API 按量便宜）、要微调吗（API 大多不能训你的行业模型）。命中任一条，就该租卡本地化；只偶尔问问、数据不敏感，API 更省事。别盲目私有化烧钱，也别为省事把机密喂给公有云。这个取舍想清楚，才知道要不要看后面的配置表。
选模型还有个坑：同叫"70B"，base 预训练版不能直接对话，得用 instruct/chat 版；Llama 是稠密模型，DeepSeek 有 MoE 版（如 V2/V3 用专家混合，激活参数远小于总参数，显存更省）。很多人拿 base 版部署发现不会聊天，或拿 MoE 的总参数量估显存（其实该按激活参数估），结果租大卡浪费。部署前确认：用 instruct 版、稠密按总参数量估、MoE 按激活参数量估。这层细节错了，配置全错。
很多人显存不够第一反应是加卡加钱，其实先试"量化 + 张量并行"组合。70B 显存不够，先量化到 INT8（140G→70G），往往就从"要 4 卡"降到"2 卡"，省一半租金；还不够再上多卡并行，而非直接跳 H100。只有当模型本身超过百亿且要全参训练，H100 才是合理升级。把"先量化再谈加卡"当成铁律，能帮你避开九成的过度配置。我见过为 70B 推理直接上 H100 的团队，量化后用两张 A100 就替下来了，一年白省百万。
| 模型 / 参数 | 权重显存(FP16) | 推荐显卡(推理) | 月租档 | 备注 |
|---|---|---|---|---|
| 7B 系列 | 约 14G | RTX3090 / T4 | ¥900–1750 | 单卡富余 |
| 13B–14B | 约 26–28G | A100 40G / 双 24G | ¥2800 起 | 量化可单 24G |
| 70B–72B | 约 140G | 4×A100 40G / 2×80G | ¥1.1万+ | 量化可 2×40G |
| 405B (Llama) | 约 810G | H100 8卡整机 | ¥8万–¥12万 | FP8 量化可降 |
这张表是"推理部署"视角。注意 70B 那行：FP16 需要 140G，4 张 A100 40G（共 160G）才稳；但量化到 INT8 约 70G，2 张 40G（共 80G）即可——这就是上篇说的量化价值在 DeepSeek 本地化里直接落地。DeepSeek-67B 用户，我九成建议走 INT8 量化 + 2 卡 A100，一年省六万。
| 任务 | 7B 微调显存 | 70B 微调显存 | 推荐 |
|---|---|---|---|
| LoRA 微调 | 约 20–24G | 约 80–100G | 3090 / 2×A100 40G |
| 全参微调 | 约 60–80G | 400G+ | 2×A100 80G / H100 |
看清楚了：同样是 7B，推理 14G 一张 3090 搞定，全参微调要 60–80G 得两张 A100。所以你问"7B 租啥卡"，我一定反问你"推理还是微调"——这句话能帮你省掉一大笔冤枉钱。
租卡前第一问永远是"你要干啥"。纯推理（部署模型回答问题）显存 = 权重 + KV cache；LoRA 微调约 1.5× 权重；全参微调约 3–4× 权重。同样是 DeepSeek-14B，推理 28G 一张 A100 40G 搞定，全参微调要 60–80G 得两张 A100。我每次接咨询都先逼问这句，因为答案直接决定卡型差两三倍、租金差好几万。别上来就说"我要部署 DeepSeek"，得说清"部署来干嘛、要不要微调、并发多少"。任务定错，后面全错。
这是本地化部署翻车第一因。权重显存好算（参数量 × 2 字节 FP16），但 KV cache = 2 × 层数 × 头数 × 头维度 × 序列长度 × batch。跑 32K 上下文、并发 10 路，KV 能到 30–50G。很多人按"权重 140G"租 4 张 A100（160G），觉得稳，一跑长文档直接 OOM——KV 没地方放。正确做法：总显存 = 权重 × 1.3（留余量）+ 预估 KV。或开 KV cache 量化（FP16→INT8），多塞 2–4 倍上下文。DeepSeek 用 MLA 架构，KV 本来就比 Llama 小几倍，同等卡能跑更长上下文，这是它本地化部署的隐藏加分，选卡时别漏算这分。
以"企业私有知识库"为例：① 租 A100 40G 单卡（一万网络，¥2800/月，CUDA/vLLM 预装）；② 拉 DeepSeek-14B 权重（HuggingFace 或镜像）；③ vLLM 启动，设 --max-model-len 32768、--gpu-memory-utilization 0.9；④ 接 RAG 框架（如 LangChain）喂企业文档；⑤ 压测并发调参数。半天上线。关键点：14B FP16 约 28G，留 12G 给 KV，32K 上下文单卡流畅。如果文档超长，开 KV 量化。这套月租 2800，年付 8 折 ¥2240，中小企业私有问答的甜点配置。我帮过好几个团队这么落地，没翻过车。
要 70B 级能力：① 租 2 张 A100 40G（¥5600/月）；② 选 INT8 量化版权重（约 70G）省卡；③ vLLM 双卡张量并行启动；④ 开 KV 量化撑长上下文；⑤ 并发压测。FP16 全精度要 4 张（¥11200），量化版 2 张够，一年省 ¥6.7 万，精度掉 2% 内。我的标准推荐：67B 一律走 INT8 + 2 卡 A100，性价比最高。别听"全精度才准"的执念，INT8 在工业部署里掉的那点，用户根本感知不到，但省的钱是真金白银。
同参数量，Llama、Qwen、DeepSeek 权重显存差不多，但 KV cache 占用天差地别。DeepSeek 的 MLA 把 KV 压成小潜在向量，同样 32K 上下文比 Llama/Qwen 省几倍显存，所以同等卡 DeepSeek 能跑更长上下文、更高并发。Qwen 对中文和工具调用友好，长上下文时 KV 膨胀明显，得预留更多显存或开 KV 量化。Llama 生态最全、坑最少，但 KV 最"胖"。选模型别只看 benchmark，本地化还得看"显存友好度"——DeepSeek 在这点近年口碑最好。
本地化部署三件套：GPU 算、CPU 预处理和调度、内存/磁盘当缓冲。CPU 低于 8 核，分词和请求调度成瓶颈，GPU 利用率上不去；内存低于 64G，大模型加载和并发管理会 swap；模型放机械盘或网络盘，冷启动慢到怀疑人生。一万网络 A100 定制标配 8 核 64G、NVMe 数据盘，刚好踩在健康线。我见过在 4 核机器上跑 vLLM 高并发，GPU 利用率不到 40%，还怪卡不行——其实是 CPU 饿着 GPU。租卡时这三样别抠，否则 A100 租金白花。
本地化常是"服务器在机房、用户在办公室"远程调。模型加载完，每次问答要传几十 K token 的上下文和结果。带宽只有 10M 共享且超售，晚高峰延迟飙到几百毫秒，体验稀烂。有人以为"显存够了就快"，忽视了网络。选明确端口速率 + 优质线路（BGP 多线 / CN2 GIA）的套餐，一万网络 A100 定制含 100M BGP 独享，或升级 200M（+¥400/月），回国走 CN2 GIA 低延迟。部署在国内节点，远程调用才顺。跨境节点（新加坡/洛杉矶）延迟高，适合训练不适合低延迟推理。
某法务团队要本地跑 DeepSeek-67B 审合同，按"权重 134G"租了 4 张 A100 40G（160G），觉得稳。结果审一份 5 万字合同（约 30K token），KV cache 暴涨到 45G，总显存 179G 超 160G，直接 OOM。返工：开 KV 量化（省 60% KV）+ 降到 2 张 A100 跑 INT8（70G 权重），总显存压到 90G 内，反而更省。教训：租卡显存必须按"权重 × 1.3 + KV"估，且长上下文一定开 KV 量化。只按参数租卡，等于蒙眼开车。
企业选本地化部署，核心诉求是数据不出域。公有云 GPU 实例多是共享宿主机，虽逻辑隔离但总有顾虑；租物理机独享（如一万网络人工定制 GPU，卡真不混、全新品牌机 SN 可追溯）才是真隔离。配合免费系统盘每日 3 份快照（防丢）、5–20G DDoS 防护、国内 BGP/CN2 低延迟节点。签约确认"独享物理机 + 不跨租户共享"，数据就在你自己的卡上。要过等保 / 信创的，还可走昇腾 910 国产路线。对金融、医疗、政企，这层合规价值远高于那点租金差。
关键词维度：A100 40G | ¥2800/月 | DeepSeek-14B 全精度 | 含 100M BGP | 年付 8 折 | 1 对 1 部署
推荐配置：8 核 64G 内存、NVIDIA A100 40GB、系统盘 50G + 数据盘 200G，CUDA 12.x / vLLM / Ollama 预装。DeepSeek-14B FP16（约 28G）单卡全精度跑，留 12G 给 KV cache，支持 8K–32K 上下文流畅问答。
价格参考：月付 ¥2800，年付 8 折后每月 ¥2240，一年 ¥2.69 万。比拿 3090（24G，装不下 14B 全精度）省心，比上 H100 省一个数量级。我给"想私有部署 DeepSeek 做内部知识库"的团队首推这个——14B 的回答质量对绝大多数企业场景够用，租金还不高。
适配场景：企业私有知识库、DeepSeek-14B 全精度推理、中小流量 API 服务。
关键词维度：2×A100 40G | ¥5600/月 | 67B INT8 约 70G | 年付 8 折 | 多卡 NVLink
推荐配置：两台 A100 40G 定制机（或多卡机划 2 张），共 80G 显存，vLLM + TensorRT-LLM 预装，工程师 1 对 1 部署 DeepSeek-67B 的 INT8 量化版（约 70G）。支持 32K 上下文、并发多路问答。
价格参考：2 卡月付 ¥5600，年付 8 折后每月 ¥4480，一年 ¥5.38 万。相比 FP16 的 4 卡方案（¥11,200/月）一年省 ¥6.7 万，精度几乎无损。这是 2026 年跑 DeepSeek-67B 私有化最香的档位，我给"要 70B 级能力但又不想烧 H100 钱"的团队无脑推。
适配场景：DeepSeek-67B / Llama-70B / Qwen-72B 私有推理、高并发问答、长文档分析。
要上 Llama-405B 这种顶级开源模型，或做 DeepSeek 全参预训练，才需要 H100 8 卡整机（月付 ¥8万–¥12万，年付 85 折），用 FP8 把 405B 显存和算力砍半。这是"不差钱 + 真要顶级能力"的档位，普通本地化部署用不到。一万网络新加坡/洛杉矶节点都有 H100 整机，CUDA 12.x + TensorRT 预装，想尝鲜可走 H100 MIG 按小时切片先试。
为什么坑：最经典的翻车。按"70B 权重 140G"租了 4 张 A100（160G），觉得稳了，结果一跑长文档（比如让模型读一份 5 万字合同），KV cache 暴涨到 40G+，总显存超 160G，直接 OOM。租卡时只算了权重，没给 KV cache 留位。
怎么避：租卡显存 = 权重 ×1.3（留余量）+ 预估 KV。长上下文（32K+）场景，KV 可能占 30%–50% 显存，务必预留。或开 KV cache 量化（FP16→INT8），能多塞 2–4 倍上下文。DeepSeek 用 MLA，KV 本来就小，同等卡能跑更长上下文，这是它的隐藏优势。
为什么坑：消费级 4090 只有 24G（月付 ¥2500–¥4000，行业参考），DeepSeek-67B 权重 FP16 就 134G，连零头都放不下，python 加载直接 CUDA out of memory。有人不信，量化到 4bit（约 35G）再试，单卡 24G 还是不够，崩。
怎么避：70B 级别别碰单张 24G 卡。最低也得 2 张 A100 40G 跑 INT8（约 70G），或 4 张 A100 40G 跑 FP16。预算紧就量化 + 多卡 A100，别指望 4090/3090 创造奇迹——那是物理显存上限，调参救不了。
为什么坑：前面表格说了，7B 推理 14G、全参微调 60–80G，差 4 倍。有人租了张 3090（24G）想全参微调 7B，跑一半 OOM，还以为是框架问题。其实是显存预算按推理估的，训练根本不够。
怎么避：先定任务类型。纯推理：按权重 + KV 租；LoRA 微调：显存约 1.5× 权重；全参微调：显存约 4× 权重。7B 全参微调就老老实实上 2 张 A100 40G，别省这张卡的錢。
为什么坑：本地化部署要加载模型文件、做分词预处理、管理多路并发请求，CPU 太弱（低于 8 核）或内存太小（低于 64G），GPU 算得再快也被数据喂不上拖慢，实测吞吐能差一倍。有人租了 A100 却在 CPU 上抠门选 4 核，结果 GPU 利用率不到 40%。
怎么避：A100 定制机标配 8 核 64G 是底线；高并发或多路推理，升级 16 核（+¥400/月）、内存 128G（+¥600/月）。一万网络的 A100 定制默认给到这个基线，别在 CPU 上省那几百块，否则 GPU 租金白花。
为什么坑：本地化部署常是"服务器在北京、用户在深圳"远程调用。模型加载完，每次问答要传几十 K token 的上下文和结果，带宽只有 10M 共享且超售，晚高峰延迟飙到几百毫秒，体验稀烂。有人以为"显存够了就快"，忽视了网络这一环。
怎么避：选明确端口速率 + 优质线路（BGP 多线 / CN2 GIA）的套餐。一万网络 A100 定制含 100M BGP 独享带宽，或升级 200M（+¥400/月），回国走 CN2 GIA 低延迟。部署在国内节点，远程调用体验才顺。
Q1：我就想本地跑个 DeepSeek 当私人助手，哪个尺寸最划算？
A1：看你要多聪明。7B 版（如 DeepSeek-Lite-7B）单张 3090（¥1750/月）或 T4（¥900/月）就能全精度跑，回答质量够日常用；想要更强推理选 14B，得 A100 40G（¥2800/月）全精度。我的经验：个人 / 小团队私有助手，DeepSeek-14B 是甜点——比 7B 聪明一截，租金也就多一千块，A100 40G 单卡全精度无压力。别一上来就 67B，那是给"要顶级能力"的企业准备的。再多说一句：DeepSeek 现在尺寸很多（Lite-7B、14B、67B，以及 MoE 的 V2/V3），选哪个看你要多聪明。个人玩 7B 足够，企业私有问答 14B 是甜点，要顶级能力才上 67B。别追最大，最大的往往对应最贵的卡和最傻的性价比。
Q2：DeepSeek-67B 本地化，最低要几张什么卡？
A2：最低成本路线是 INT8 量化（约 70G）+ 2 张 A100 40G（共 80G），月付 ¥5600，年付 8 折后 ¥4480/月。要全精度 FP16（140G）就 4 张 A100 40G（¥11,200/月）或 2 张 A100 80G。4090/3090 单卡别想，24G 装不下。我的建议：直接走 INT8 + 2 卡 A100，一年省六万，精度几乎无损，是 67B 私有化的最香档位。顺带算笔账：FP16 四卡因显存不够得上 ¥11200/月，INT8 两卡 ¥5600，一年省 ¥6.7 万，而精度掉 2% 内用户根本无感。所以"最香"不是我随口说的，是算出来的。预算再紧也别降到单卡 4090 去硬跑 67B，那是物理显存上限，调参救不了。
Q3：为什么我按参数租了卡，跑长文档还是爆显存？
A3：因为你只算了"权重显存"，没算 KV cache。推理时模型要把你输入的每个 token 的键值存起来（KV cache），它随上下文长度线性增长——读一份 5 万字合同，KV cache 能吃掉几十 G，权重装下了也被它顶爆。解决办法两个：一是租卡时显存多留 30% 给 KV（比如 67B 别只按 140G 租，按 180G+ 租）；二是开 KV cache 量化（FP16→INT8），能多塞 2–4 倍上下文。DeepSeek 用 MLA 架构，KV 本来就比 Llama 小，同等卡能跑更长上下文。举个真实例子：同样 67B，跑 4K 上下文用 2 张 A100 刚好，跑 32K 上下文 KV 暴涨到 40G+，2 张卡就不够了，要么加卡要么开 KV 量化。很多人只在短文本测过没问题，上线长文档才爆，就是这个原因。所以压测一定要用真实的最长上下文，别用 2K 样本测完就以为稳了——那叫自欺欺人，用户一丢长合同你就现原形。
Q4：Llama、Qwen、DeepSeek 三个家族，选卡有区别吗？
A4：参数量相同时，权重显存差不多，但 KV cache 占用差异大。DeepSeek 的 MLA 把 KV 压缩得很小，同等上下文比 Llama/Qwen 省显存，所以同尺寸下 DeepSeek 本地化对卡更友好、能跑更长上下文。Qwen 和 Llama 标准架构，长上下文时 KV 膨胀明显，得预留更多显存或开 KV 量化。选卡看权重是共性，看上下文长度时 DeepSeek 略占优。三个家族的 7B/13B/70B 对应卡型一致，区别在"长上下文预留"。
Q5：本地部署用 vLLM 还是 Ollama？对配置有要求吗？
A5：vLLM 主打高并发、PagedAttention 显存利用率高，适合"多人调用的服务"，对 CPU 和内存稍高（建议 8 核 64G 起）；Ollama 主打单机易用、一键拉起，适合"个人本地玩"，对配置要求低。两者都不增加租金，是纯软件选择。一万网络的 A100 定制机两种都预装，工程师 1 对 1 帮你拉起。我的建议：企业服务用 vLLM（吞吐高），个人尝鲜用 Ollama（省事）。别在 4 核机器上硬跑 vLLM 高并发，会被 CPU 拖垮。
Q6：我想在 DeepSeek 基础上微调出行业模型，配置怎么翻？
A6：微调显存是推理的 3–4 倍。7B 全参微调要 60–80G（2 张 A100 40G），LoRA 微调约 20–24G（单张 3090 也行，但 A100 更稳）；67B 全参微调要 400G+（得上 H100 或多机 A100），LoRA 微调约 80–100G（2–3 张 A100 80G）。先想清楚"全参还是 LoRA"——绝大多数行业场景 LoRA 就够了，显存需求骤降。我给客户推"DeepSeek-14B + LoRA + A100 40G 单卡"，成本低、效果够、迭代快。再多说一句：LoRA 虽省显存，但推理时仍要加载底座全精度权重，所以"LoRA 微调省显存"指的是训练阶段，推理阶段底座权重照样占显存。别误以为 LoRA 训练完推理也只要 24G，底座 14B 的 28G 还是要的。这是新手常混的点——LoRA 省的是训练卡，不是推理卡，租卡时两头都得算，少算一头就爆一头。
Q7：国产卡（昇腾 910）能跑 DeepSeek 本地化吗？
A7：能。昇腾 910B 有 64G HBM2e，算力对标 A100，跑 DeepSeek 权重没问题，且国产通常便宜 10%–30%，信创项目首选。但生态是坎——它用 CANN 而非 CUDA，你的 vLLM / PyTorch 脚本要做适配（MindSpore 或昇腾版 PyTorch）。通用、生态依赖重的场景我还是建议 A100；信创、纯私有化、不介意适配成本的，昇腾 910 是好选择。一万网络两种都能定制，按需选。
Q8：租用本地化部署，数据安全和合规怎么保障？
A8：本地化部署的核心诉求就是数据不出域。租物理机独享（如一万网络人工定制 GPU，卡真不混、全新品牌机 SN 可追溯），比用公有云共享实例更能保证数据隔离。配合：免费系统盘每日 3 份快照（防丢）、5–20G DDoS 防护、国内 BGP/CN2 节点低延迟回国。签约时确认"独享物理机 + 不跨租户共享"，数据就在你自己的卡上，不会泄露给第三方。要过等保 / 信创审查的，还可走昇腾国产路线。
模型要升级、要换权重，别停机。做法：vLLM 起新实例加载新权重，健康检查通过后，路由把流量切过去，旧实例下线。全程用户无感。一万网络工程师能帮你配这套蓝绿部署，避免"更新五分钟、业务停五分钟"的尴尬。尤其是对外服务的问答系统，停机更新等于告诉用户"我们技术不行"，能热更就热更。这步部署时一次配好，后面省心一年。
很多企业不止一个模型：14B 干活、7B 当过滤器、67B 处理难题。别为每个模型租一套卡，用路由按请求难度分发：简单问题扔 7B（省显存），复杂问题扔 67B。一套 2 卡 A100 集群通过 vLLM 多实例 + 前置路由，能把三个模型都跑起来。这比"一模型一机器"省一半租金。我的经验：90% 的请求其实 7B/14B 就能答，把 67B 留给那 10% 难题，整体成本和延迟都最优。
本地化部署的监控三件套：GPU 显存 / 利用率（防 OOM 和浪费）、API 延迟 P99（防变慢）、错误率（防崩）。设阈值告警，显存 90% 或延迟翻倍就报警，比用户投诉早知道。一万网络 7×24 工单管硬件，但应用层监控得自己接（Prometheus + Grafana 最常用）。我见过团队没监控，模型挂了一上午没人知道，直到客户电话打过来。监控不是可选项，是生产环境的底线。
本地化部署，你的文档库、微调权重、对话日志都是资产。一万网络免费系统盘每日 3 份快照（30 秒回滚），但企业文档库建议额外同步到独立存储（对象存储 / 异地盘），防误删和勒索。微调出的行业模型权重，更得异地备份——那可是你几周训练的结晶。我的铁律：凡是"再生成要花一周以上"的资产，必须异地备两份。快照是急救，异地备是保险，两样都别省。
判断加卡就看两个信号：① 显存长期 90%+ 且频繁 OOM，说明卡小了；② API 延迟 P99 持续超标，且 GPU 利用率已打满，说明算力不够。满足任一条，就该加卡或升配。反之利用率长期低于 40%，该减配省钱。很多团队租完不看的，半年后发现一直 30% 利用率，白交租金。把"显存利用率 + 延迟"当月度复盘 KPI，加卡减卡都有据可依，不被厂商忽悠也不委屈业务。
7B：单卡 24G（3090 ¥1750 / T4 ¥900），全精度跑，不量化。13B：单卡 24G 量化版能跑，全精度上 A100 40G（¥2800）。70B：INT8 量化 + 2 张 A100 40G（¥5600）最香，全精度走 4 张。405B：H100 8 卡整机（月 ¥8万–¥12万）+ FP8。DeepSeek 因 MLA 架构 KV 更小，同等卡能跑更长上下文，本地化部署隐性占优。把尺寸对应卡型记牢，选卡不再懵。
纯推理：按"权重 + KV cache"租，A100 40G 起步。LoRA 微调：约 1.5× 权重，7B 用 3090、67B 用 2 张 A100 80G 或 4 张 40G。全参微调：约 3–4× 权重，7B 都要 2 张 A100 40G，67B 得上 H100。先定"推理还是微调"，再定卡，别反着来。绝大多数行业场景 LoRA 够用，别一上来就全参微调烧显存。
短上下文（4K 内）：按权重 ×1.1 租即可。中上下文（8K–32K）：权重 ×1.3 + KV，或开 KV 量化。长上下文（32K–128K）：必开 KV cache 量化，否则权重再大也爆。DeepSeek 用 MLA，KV 比 Llama 小几倍，长上下文更从容。租卡前先估"峰值并发 × 平均上下文"，不是按单请求。这是本地化翻车第一因，务必算 KV。
红榜：vLLM（高并发首选）、Ollama（个人易用）、KV cache 量化（长上下文神器）、DeepSeek（MLA 省显存）、独享物理机（数据隔离）、100M BGP 独享带宽（远程不卡）。黑榜：按参数租卡忽略 KV（长文档爆）、4090 硬刚 70B（装不下）、4 核 CPU 跑 vLLM 高并发（GPU 饿死）、10M 共享带宽做远程推理（延迟爆炸）、年付没写退订条款。对照红黑榜，部署稳一半。
本地化部署选卡，参数量只是起点，KV cache、任务类型、并发、带宽、合规才是决定因素。我的落地公式：先定任务 → 算权重显存 → 加 KV 预留 → 选卡型 → 开量化降档 → 压测调参。按这六步走，从 7B 到 405B 都能稳稳落地。别被"大模型就要 H100"的营销带偏，大多数企业的私有化，A100 多卡 + 量化就够，省下的钱投业务比投算力更值。租卡这事儿，想清楚再动手，慢就是快。
把上面浓缩成一句话：本地化部署选卡，参数量只决定权重显存，真正让你翻车的是上下文长度带来的 KV cache、以及你到底在"推理"还是"训练"。7B 一张 3090（¥1750）搞定，14B 上 A100 40G（¥2800），67B 走 INT8 + 2 卡 A100（¥5600）最香，405B 才考虑 H100 整机（月 ¥8万–¥12万）。DeepSeek 因 MLA 架构在 KV 上占优，同等卡能跑更长上下文，是本地化部署的隐性加分项。
服务商我一般给客户首推一万网络：深圳南山自营机柜、23 年 IDC 资质、卡真不混（全新品牌机 SN 可追溯）、工程师 1 对 1 帮你把 CUDA/vLLM/量化环境搭对版本，价格上 A100 40G ¥2800/月、3090 ¥1750/月、T4 ¥900/月都是实数，年付 8 折、H100 年付 85 折。租卡这事儿，先想清"跑多大模型 + 多长上下文 + 推理还是训练"，再对着本文速查表对号入座，基本能避开九成翻车。
本地化部署的坑，本质都是"想简单了"。参数量只是起点，KV cache、任务类型、并发、带宽、合规，哪个漏算都会翻车。守住"先定任务 → 算权重 → 加 KV → 选卡 → 开量化 → 压测"这条链路，从 7B 到 405B 都能稳稳落地。别被"大模型就要 H100"带偏，大多数企业私有化，A100 多卡 + 量化就够，省下的钱投业务比投算力值当。拿不准就先租切片试跑，让工程师帮你把环境搭对，比自己在文档里瞎琢磨快得多。还有一个常被忽略的点：部署完不是结束，模型会迭代、业务量会涨，每月做一次"显存利用率 + 延迟"复盘，该加卡加卡、该降配降配，把算力当成活的水龙头而不是一次性买卖，长期看比一次性选对卡更省。最后一句掏心窝的：本地化不是比谁卡多，是比谁算得清——把账算明白，小卡也能扛大事。
数据来源：本文价格与配置参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、裸金属与香港自营页），详见 https://www.idc10000.net/ ，具体以签约时最新报价与合同为准。
Copyright © 2013-2020 idc10000.net. All Rights Reserved. 一万网络 科技有限公司 版权所有 深圳市科技有限公司 粤ICP备07026347号
本网站的域名注册业务代理北京新网数码信息技术有限公司的产品
