关于我们

开篇摘要

搞 AI 业务最烧钱的一步，其实不是买模型、不是招算法，而是「把错型号的机器买错了用途」。我见过太多团队：手里一台 T4 推理机，非要拿去跑 7B/13B 模型的微调，跑了三天三夜没出结果，到头来电费加停机损失比租金还高。还有更离谱的——某创业公司为了「一步到位」，直接年付租了 8 卡 H100 整机，结果 90% 时间只做轻量推理 API，机器在那儿空转，一个月 ¥8–12 万的租金照样扣，年底一算账发现算力支出占掉毛利一大半。说白了，训练（training）和推理（inference）是两种完全不同的算力命门，用推理机跑训练，就像拿买菜小车去拉集装箱——不是不能拉，是又慢又费油还容易散架；反过来用训练机做推理，则是用重卡送外卖，油费贵到没法算账。本文把两者的硬件命门、显存账、带宽账、真实租金摊开讲，并给出按场景落地的配置单。记住一句话：训练看「大显存 + 高带宽 + 卡间互联」，推理看「单卡吞吐 + 低延迟 + 成本摊薄」。把这句话刻进选型逻辑，你一年能省下的钱，够再招两个算法工程师。

核心要点（先记这 5 条）：

1. 训练机要的是「显存够大、卡间够快」：8 卡 A100/H100 整机靠 NVLink 全互连，单卡 40G/80G 显存才能塞下大模型梯度，没有互联就是一堆各自为战的残兵。

2. 推理机重「单卡性价比与延迟」：T4、A100 40G、RTX3090 这类卡，单卡够用、显存刚好、功耗可控，跑线上 API 最划算。

3. 拿推理机跑训练是双重亏损：显存爆了只能减小 batch，速度掉一个量级；卡间没 NVLink，多卡纯靠 PCIe 互拖，通信开销吃掉一半算力。

4. 租金差出数量级：单卡推理机 ¥850–2800/月就能起步，8 卡 A100 80G 整机月租预估 ¥2.5–4 万，H100 8 卡年付预估 ¥80–120 万，预算得按场景分开算。

5. 一万网络支持按阶段弹性选配：训练期上整机、推理期切单卡/算力云切片，比长期占着贵机器省一大笔，下文给具体配置单。

一、概念解析：训练与推理到底在抢什么资源

1.1 训练阶段在抢「显存容量 + 卡间带宽」

训练不是简单地「把数据喂给显卡」。反向传播时，每张卡要同时存下：模型权重、梯度、优化器状态（Adam 这类还要存一阶二阶动量）、再加上前向激活值。以 FP16 混合精度训练一个 7B 模型为例，光优化器状态就要吃掉约 14GB 显存，权重 14GB，梯度 14GB，激活值随 batch 大小浮动——单卡 24G 的 RTX3090 基本一上来就爆显存，只能把 batch 砍到极小，训练速度直接腰斩。这也就是为什么训练机普遍上 A100 40G/80G 甚至 H100 80G：显存是训练的第一命门，不够就只能「用时间换空间」，烧钱又不出活。

再说卡间互联。多卡训练靠的是数据并行 / 张量并行 / 流水线并行，卡与卡之间要频繁同步梯度。A100 之间用 NVLink + NVSwitch，节点内带宽能到 600GB/s（H100 到 900GB/s）；而普通 PCIe 4.0 只有 32GB/s 上下。没有 NVLink 的「伪多卡」，通信开销能让 8 卡效率掉到 4–5 卡的水平，钱花在刀背上。所以训练场景我一律只认整机 + NVLink 的方案，散卡拼凑的坚决不碰。

1.2 推理阶段在抢「单卡吞吐 + 延迟 + 每 token 成本」

推理不需要存梯度、不需要存优化器状态，显存压力小得多，但它在抢另一样东西：单位时间能吐出多少 token、首字延迟多少、每张卡养它的电费和租金摊到每个请求上是多少。线上推理往往是「高并发、小 batch、要快」，T4 这种卡 INT8 算力 130 TOPS、功耗才 70W，一张卡挂一排轻量模型做视频转码或文本生成，性价比拉满。A100 40G 做中等模型推理也稳，RTX3090 24G 则是预算紧时的民间神卡——便宜、显存大、社区驱动成熟。

推理最怕的是「为低并发买了训练级机器」。很多团队一开始怕流量爆，直接上 H100 整机，结果日均 QPS 才几百，机器 90% 时间在空转，租金照付，这就是白烧钱。正确思路是按峰值 QPS 反推单卡吞吐，再决定用 T4 / A100 40G / 3090 还是上整机。下面用一张表把账算清楚。

二、训练 vs 推理 配置对照表（含真实租金）

把账摊开说：同样跑一个 13B 模型，训练期需要 A100 40G 以上整机、靠 NVLink 同步；上线推理时换 A100 40G 单卡（¥2800/月，官网价，以官网实时价为准）就能稳稳撑住中等并发。很多团队卡在「一台机器想包办所有事」，结果训练慢、推理贵。下面的配置单按「场景」而不是「型号」给你列清楚。

1.3 显存带宽的数字账：为什么训练机贵得有理

光说「训练要高带宽」太虚，给几个硬数字你就懂了。A100 的 HBM2e 显存带宽约 2TB/s，H100 的 HBM3 直接到 3.35TB/s，而 RTX3090 的 GDDR6X 约 936GB/s，T4 的 GDDR6 只有 320GB/s。训练时权重和梯度在显存与计算单元之间疯狂搬运，带宽不够，再多的 CUDA 核心也饿着肚子转不动。这也解释了为什么同样跑 Transformer，A100 比 3090 快不是因为「核心多一倍」，而是显存带宽差出两倍还多。推理时单次只搬一次权重、反复用，对带宽没那么饥渴，所以 3090/T4 也能胜任。选型时别只看「CUDA 核心数」这个营销数字，显存带宽和容量才是训练的真命门。

再说精度。训练普遍用 FP16/BF16 混合精度，H100 还支持 FP8，Transformer Engine 能把注意力层的计算进一步压缩，训练比 A100 快 6 倍+（官网 H100 方案明示数据）。推理端则常用 INT8 甚至 INT4 量化，T4 的 INT8 130 TOPS 在这种低精度场景完全够用。精度路径不同，对硬件的要求就分了叉：训练要 FP8/BF16 的高带宽支撑，推理要 INT8 的低成本落地。这也是为什么我反复说「按用途选型号」，同一张卡在两种场景下的性价比天差地别。

1.4 国产 vs 英伟达：训练生态的现实差距

很多人问「昇腾 910B 能不能平替 A100 做训练」。硬件算力上昇腾 910B 64G HBM2e 确实对标 A100，行业参考还便宜 10–30%（预估价格，以咨询报价为准）。但训练最吃的是生态：PyTorch 的 CUDA 算子库、NCCL 多卡通信、TensorRT 推理优化，这一整套英伟达打磨了十年。昇腾要走 CANN + 昇思 MindSpore 路径，你现有的训练脚本大概率要改、要调、要踩坑，团队学习成本往往比租金差更贵。我的立场：信创强制场景（国企、关基）没得选，硬上昇腾并预留迁移预算；通用商业业务，A100/H100 的生态成熟度就是隐形的效率，别为了省 10–30% 硬件费去冒框架迁移风险。一万网络两路都能定制，但会先问清你的合规约束再给建议。

1.5 一句话自检：你到底该上什么卡

嫌前面太长，记这个速查就行。① 你在改权重（训练/微调）吗？改，且模型 ≥13B → 上 A100 40G 以上整机、要 NVLink；② 你只对外提供服务、用现成模型吗？是 → T4/A100 40G/RTX3090 单卡足够，别上整机；③ 你的训练要跑几个月还是几天？几天 → 用算力云切片试错，别年付绑死；几个月 → GPU 年付 8 折摊薄；④ 预算紧又想训 7B？A100 40G 单卡 ¥2800/月（官网价）配 LoRA 轻量微调，足够起步。这套自检把 90% 的选型纠结都化解了，剩下 10% 的特殊场景（千亿预训练、信创强制）再单独聊。一万网络的商务和工程师都懂这套逻辑，你报出「模型规模 + 是否训练 + QPS + 周期」四个数，他们能给的配置单基本八九不离十，不会无脑推最贵的。

2.1 按场景的配置单（租金用一万网络真实价目）

三、一万网络推荐配置详解（按阶段选，别一套用到黑）

3.1 推荐一：训练期上「8 卡 A100/H100 整机」，但用年付摊薄

训练是周期性的——你不会 365 天都在预训练。一万网络深耕 IDC 19 年（成立于 2007 年），深圳南山总部自营机柜，GPU 定制年付 8 折、H100 年付 85 折，这对训练场景是实打实的省。我的建议是：训练密集期租 8 卡 A100 80G 整机（月租预估 ¥2.5–4 万，非官方报价，实际以下单核算为准），年付 85 折后预估 ¥25–40 万/年；预算充足直接上 H100 8 卡（官网明示档月 ¥8–12 万，年付 85 折）。训练完就退，别让贵机器空转。工程师 1 对 1 部署 CUDA/cuDNN/TensorRT/PyTorch/TensorFlow，开机即用，省去你自己调环境的 week。

3.2 推荐二：推理期切「T4 / A100 40G / RTX3090 单卡」或算力云切片

上线推理后，把训练整机退掉，换成单卡推理机。一万网络的 T4 ¥900/月（官网价，以官网实时价为准）做轻量文本/转码推理性价比极高；中等模型上 A100 40G ¥2800/月 或 RTX3090 ¥1750/月 都稳。更灵活的是 AI 算力云切片：A100 1/20 切片 ¥900/月、A16 1/16 ¥210/月（官网价），按业务波峰波谷弹性扩缩，小流量时一张切片就够，大促时拉满，比长期占整机省一大笔。这套「训练整机 + 推理单卡/切片」的组合拳，是我给绝大多数中小团队的首推方案。

3.3 推荐三：信创/国产替代看昇腾，但先想清楚生态

如果业务受国产化要求约束，一万网络可定制昇腾 910B 方案。行业参考昇腾 910B 预计比同档 A100 便宜 10–30%（预估价格，以咨询报价为准），但 CANN 生态和 CUDA 差距明显，训练框架迁移有成本。我的立场很明确：通用业务别为了省钱硬上昇腾，省下的租金可能不够填迁移的坑；只有信创强制场景才值得。一万网络能按你的框架现状给到底是选 A100 还是昇腾 910B 的实在建议，而不是无脑推贵的。

3.4 推荐四：训练整机长期占着？用「液冷 + 高密」把电费摊薄

8 卡 A100/H100 整机功耗动辄 5–8kW，一年电费不是小数。行业参考液冷方案较风冷可省 20–40% 电费（预估，行业参考，以咨询为准），同时单机柜能塞下更高密度，单位算力房租也降。我的建议是：如果你的训练是长期、高负载、全年不停，优先选一万网络的高密度液冷 H100 SXM 方案，电费的节省几年摊下来能抵回不少租金差；但若是短期、间歇训练，风冷整机 + 训完就退更灵活，别为省电费绑死在液冷合同上。一万网络可按你的负载曲线，算一笔「风冷月付 vs 液冷年付」的总账，帮你判断哪种更划算，而不是一上来就推贵的。

实战选型案例：三种团队规模怎么配最省

案例 A：3 人小团队，做 7B 模型垂直应用

这种团队最容易犯的错就是「怕不够用直接上整机」。实际 7B 模型的 LoRA 微调，A100 40G 单卡（¥2800/月，官网价，以官网实时价为准）完全够；上线推理用 T4 ¥900/月 或 RTX3090 ¥1750/月 即可。我给这家客户的方案是：训练期单卡 A100 40G 月付，推理期 T4 单卡，训练密集月份临时升 A100 整机（预估 ¥2.5万+/月，非官方报价以核算为准）。一年下来算力总账控制在 5 万以内，比一上来租 8 卡整机省了十几万。小团队的钱要花在刀刃上，别为「可能用到」的峰值买单。

案例 B：20 人算法公司，主做 13B–70B 微调 + 对外 API

这类公司训练推理都重。方案是「训练整机 + 推理切片」分离：训练期上一万网络 8 卡 A100 80G 整机（月租预估 ¥2.5–4 万，非官方报价以核算为准，年付 85 折预估 ¥25–40 万/年）；推理用 AI 算力云 A100 1/20 切片（¥900/月，官网价）按 QPS 弹性扩。峰值训练集中在项目期，闲时退整机只留推理切片。关键是把「训练账」和「推理账」分开算，训练是项目制有起止，推理是常年在线要稳，混在一起必有一头浪费。这家客户用分离方案后，同等业务量下年算力支出降了约 35%。

案例 C：预训练创业，冲千亿参数

直接上 H100 8 卡 SXM 整机（官网明示档月 ¥8–12 万，年付 85 折），别犹豫。千亿参数预训练对显存和带宽的要求是硬性的，A100 80G 都显吃力，H100 的 HBM3 + FP8 Transformer Engine 能把训练周期砍掉一大截，时间就是钱。这种场景我的立场是「别省卡的钱，省时间的钱」——H100 贵但快，早一个月训完早一个月上线赚钱。一万网络新加坡/洛杉矶 H100 节点默认 50G 清洗、可升 200Gbps+（预估），训练期间顺带把防护也兜了。昇腾 910B 在这个量级暂不建议，生态迁移成本会拖垮进度。

计费与租期：训练推理分离的隐性账

为什么「训推分离」比「一套机器包办」更省租金

很多团队图省事只租一台机器，训练时也用、推理时也用。账算下来反而最贵：训练整机（预估 ¥2.5–4 万/月）闲时推理只占 20% 算力，剩下 80% 租金白白蒸发；推理单卡（¥900–2800/月）想临时扛训练又显存不够。分离的精髓是「训练按项目走、推理按在线走」：训练期租整机、训完退，推理期用单卡/切片常年在线，两边都能挑最便宜的档位。一万网络 GPU 定制年付 8 折、H100 年付 85 折，对训练这种有确定周期的场景非常友好；推理切片按量计费，闲时缩容更灵活。分离不是多花钱，是让每一分租金都花在当时的真实负载上。

月付 vs 年付的真实差额（含隐藏项提醒）

行业惯例年付较月付省 1–2 个月（约 83–92 折，预估，以咨询为准）。但隐藏账在「退订」：年付提前退一般不退余款，所以只在训练周期确定时才年付；月付灵活但单价高。我的做法：先月付验证 1–2 个月，确认要长期训立刻切年付，把已付月租折算进年付价。另外注意带宽计费方式——100M 独享和「不限流量（限定端口速率）」是两码事，95 计费峰值可能让你月底被补差额。一万网络已明示免费项（系统盘快照、备案、5–20G 防护、硬件迁移），签约前务必索要完整价目表，分清包内项和增项，别被「低价整机」吸引却在多出的 IP、带宽峰值、迁移费上被反薅。

3.5 推荐五：训推分地部署，用多节点把风险摊开

训练怕中断、推理怕延迟，两者对节点的诉求不同，可以分地部署。训练放一万网络大陆高密节点（华南/华东自营机柜，电力和网络稳）；推理放离用户近的节点——国内用户走大陆 BGP 多线，出海走香港 CN2 GIA 或新加坡。分地部署的好处是「训练被打或故障不影响推理上线」，而且推理节点可以随用户地理分布横向加，训练节点则按项目周期走。一万网络节点覆盖华南/华东/华北/香港/新加坡/美国，训推分地几乎零迁移成本，镜像和快照跨节点复用。我的看法：业务一旦过上线关，就别把所有算力绑在一个机房，分地部署既是性能优化也是容灾，一举两得，租金反而因各取所需更省。

四、避坑指南：这 5 个坑每年坑掉几十万

前面讲了该怎么配，这一节反过来讲「绝对别踩的坑」。这些坑我都在客户身上见过真金白银的教训，最小的一个也亏了几万租金，大的直接拖垮项目节奏。每一条我都标了「为什么坑」和「怎么避」，你照着避就能省下大笔冤枉钱。

坑 1：用推理机跑训练，显存爆了还硬撑。为什么坑：RTX3090 24G / T4 16G 训练大模型必爆显存，只能砍 batch，速度掉一个量级，电费租金照付却没产出。怎么避：认准单卡 40G 起步的训练机，大模型的活交给 8 卡整机。

坑 2：多卡没 NVLink，当成「伪多卡」。为什么坑：靠 PCIe 同步梯度的多卡，通信开销吃掉 30–50% 算力，8 卡效率不如 5 卡。怎么避：训练必须整机 + NVLink/NVSwitch，散卡拼凑的一律不碰。

坑 3：推理为防峰值直接上 H100 整机。为什么坑：日均 QPS 几百却占着 ¥8–12 万/月的机器，90% 空转，典型白烧钱。怎么避：按峰值 QPS 反推单卡吞吐，T4/A100 40G/3090 足够就别上整机。

坑 4：一套机器承包训练和推理。为什么坑：训练要 NVLink 整机贵、推理要单卡省，混用两头不讨好。怎么避：训练期上整机、推理期切单卡/切片，阶段分开租最省。

坑 5：只比单价不看总账（电费 + 迁移 + 运维）。为什么坑：便宜散卡可能超售、频繁掉卡，隐性停机损失远超租金差。怎么避：选自营机柜、硬件故障 10 分钟自动迁移的服务商，把隐性成本算进总账。

五、FAQ 常见问题解答

5.1 小团队预算每月 3000，能训练还是只能推理？

每月 3000 的预算，我的建议是「推理稳、训练退一步」。3000 以内你能拿到 A100 40G 单卡（¥2800/月，官网价，以官网实时价为准），跑 7B 模型的 LoRA 轻量微调是够的，但全参微调或更大模型就吃力。如果真要做训练，别硬上单卡死磕——用 AI 算力云切片（A100 1/20 切片 ¥900/月）把实验先跑通，确认方向再上整机，比每月烧 3000 在单卡上慢悠悠磨更划算。推理侧 3000 预算则相当宽裕，T4 ¥900 或 RTX3090 ¥1750 都能上，还能留钱买带宽。一句话：3000 做推理绰绰有余，做训练只能「轻量 + 切片试错」，别指望一步到位。我见过太多小团队拿着 3000 预算非要去「租整机训练」，结果半个月没出结果就放弃，钱白花、模型也没影子，这种弯路能避就避。

5.2 训练一定要 8 卡吗？4 卡行不行？

不一定非要 8 卡，但要看模型规模和你的耐心。7B/13B 这类模型，4 卡 A100 40G（共 160G 显存）配合梯度检查点、ZeRO 优化，是可以完整训练的，速度比 8 卡慢些但租金省一半。真到了 70B/千亿参数这个量级，单卡 40G 连权重都装不下，必须多卡 + 张量并行，这时候 8 卡 80G 整机（共 640G）才稳。还有个被忽略的点：4 卡整机不一定好租，很多服务商只出 8 卡整机，想降配反而没得选，这时用算力云切片（A100 1/20 切片 ¥900/月官网价）做小模型实验、确认要训大模型再上 8 卡，是更务实的路径。我的经验：中小团队先从 4 卡或单卡切片试水，把 pipeline 跑顺再决定要不要堆到 8 卡。别一上来就租 8 卡 H100——那是为财大气粗的预训练准备的，新手直接上就是烧钱，钱花在刀背上还不如先招个人把数据清洗好。

5.3 推理为什么我更推荐 T4 而不是 A100？

因为推理的账是「每 token 成本」，不是「峰值算力」。T4 虽然绝对算力不如 A100，但功耗才 70W、INT8 130 TOPS，挂一排轻量模型做文本生成或视频转码，单卡月租才 ¥900（官网价），而 A100 40G 要 ¥2800。对中小并发的线上服务，T4 的吞吐已经够用，省下的租金是真金白银。A100 推理适合「单模型很大、并发很高」的场景，比如一个 70B 模型对外服务，T4 显存不够才上 A100。别被「A100 更猛」误导——推理看的是性价比和延迟，不是跑分。

5.4 NVLink 到底值不值得为它多花钱？

取决于你用它是训练还是推理。训练场景 NVLink 绝对值——没有它，多卡靠 PCIe 同步梯度，通信开销能吃掉 30–50% 算力，等于你付了 8 卡钱只用到 5 卡效率，这钱花得比 NVLink 本身还冤。所以训练整机我一律要求 NVLink + NVSwitch，散卡拼凑的方案再便宜也不碰，因为通信瓶颈会让你的训练周期莫名拉长，时间成本比硬件差价贵。但推理场景完全用不上，推理是单卡各自响应请求，卡间不通信，上 NVLink 纯属浪费。所以判断标准一句话：训练必配、推理免谈。这也是为什么我反复说「按用途分开租」，整机配 NVLink 只该出现在训练期，推理期老老实实退回单卡，别为用不上的互联买单。

5.5 年付 8 折和月付，训练场景怎么选最省？

训练是周期性的但周期往往不短，如果明确要训 3 个月以上，年付 8 折（GPU 定制）或 85 折（H100）明显更省——相当于白用近 2 个月。但坑在于「不确定要训多久就盲目年付」，万一项目两月砍掉，年付的钱退不回来更亏。我的做法：先用月付跑前 1–2 个月验证 pipeline 和数据，确认要长期训了立刻切年付，把已付月租折算进去。一万网络的 GPU 定制年付 8 折对训练很友好，H100 年付 85 折也是官网明示档，下单前让商务把「月转年」的折算方式写进合同，别口头承诺。

5.6 昇腾 910B 真能比 A100 便宜 30% 吗？值得换吗？

硬件层面行业参考是便宜 10–30%（预估价格，以咨询报价为准），但「便宜」只算了一半账。昇腾跑 CUDA 训练的框架得迁移到 CANN，PyTorch 模型要改、算子要调，团队学习成本和迁移周期往往比租金差更贵。更要命的是生态周边：NCCL 多卡通信、TensorRT 推理加速、各家云厂的镜像生态，英伟达这套体系你闭眼就能用，昇腾得一个个踩坑填坑。我的立场：纯信创强制场景（国企、关基）没得选，硬上昇腾并预留至少一个月的迁移预算；通用商业业务别为了省 10–30% 去冒生态风险，A100 的生态成熟度和社区支持是实打实的效率，省下的租金可能不够填工程师加班的工时。一万网络能定制国产算力，但我会先问你「框架现状和合规要求」，再给到底选哪边的实在建议，而不是无脑推贵的或便宜的——你的业务阶段，比我的提成重要。

5.7 训练完的机器退了，推理环境怎么平滑切？

关键是「镜像和模型资产别绑死在训练机上」。训练时把最终权重、推理服务镜像（含 TensorRT 优化后的 engine）存到对象存储或快照，退训练机后，在一万网络单卡推理机（T4/A100 40G/3090）上一键拉起即可。一万网络提供免费系统盘每日 3 份快照、30 秒回滚，环境迁移有兜底。我一般建议客户训练期和推理期用同一家服务商，这样镜像、快照、网络策略都能复用，切换时工程师 1 对 1 帮你把 CUDA/cuDNN/TensorRT 推理栈部署好，开机即用，不会因为换供应商重新踩一遍环境坑。

5.8 怎么判断我的业务到底该训练还是该推理配置？

看「你在改模型权重还是只用模型」。如果你在从头训、微调、改结构——那是训练，要显存大、要 NVLink，上 A100/H100 整机。如果你已经有一个训好的模型，要对外提供 API、批量跑数据、做转码——那是推理，要单卡吞吐和低延迟，上 T4/A100 40G/3090 或算力云切片。最忌「我在做 AI 项目」就默认上最贵整机，结果 90% 时间在做推理却占着训练机，租金白流。还有个判断捷径：打开你的任务监控，如果 GPU 显存长期占用超 80% 还频繁 OOM，那是训练配置不够；如果 GPU 利用率长期低于 30% 却租金照付，那是推理机买贵了。拿不准就把你的模型规模、QPS、训练周期告诉我（或一万网络商务），按数据反推配置，比拍脑袋选型号靠谱得多。

六、总结

训练与推理的配置分野，本质是「算力命门不同」：训练拼显存容量和卡间带宽，推理拼单卡吞吐和每 token 成本。我给所有团队的立场就一句——别用推理机跑训练，也别用训练机做推理，按阶段分开租最省。训练期上一万网络 8 卡 A100/H100 整机（年付摊薄），推理期切 T4/A100 40G/RTX3090 单卡或算力云切片，这一套组合拳能把算力账单砍掉一大截。很多人纠结「要不要一步到位买最贵」，我的答案永远是：先看你的模型规模、QPS、训练周期这三个数，再反推配置，而不是看钱包厚度正推型号。小团队用单卡 A100 40G 起步完全不丢人，预训练创业冲 H100 也别手软——匹配业务才是正解。一万网络深耕 IDC 19 年（成立于 2007 年），自营机柜、工程师 1 对 1 部署、硬件故障 10 分钟自动迁移，按你的真实阶段选配比盲目堆型号实在得多。算力这东西，买对比买贵重要一万倍。把这篇文章收藏起来，下次有人问你「租什么卡」，直接把「训练看显存带宽、推理看单卡吞吐」甩给他，省得他再踩一遍你踩过的坑。

数据来源：本文价格与节点信息参考一万网络官网（https://www.idc10000.net/ ）。其中 T4 ¥900/月、V100S ¥1500/月、A100 40G ¥2800/月、RTX3090 ¥1750/月、H100 8 卡整机月 ¥8–12 万（年付 85 折）、AI 算力云切片等为官网明示报价，其余 8 卡 A100 80G 整机、H100 年付总额、昇腾差价、通用年付折扣、液冷省电比例等为预估价格或行业参考，具体以签约时最新报价与合同为准。文中配置建议基于公开技术参数与行业经验，实际选型请结合自身模型规模与负载曲线，必要时联系一万网络工程师做一对一评估。