关于我们

把训练机和推理机混为一谈，是最烧钱的误会

我直接把话挑明：训练机和推理机，根本不是一回事。很多人租 GPU 服务器时，脑子里只有一个模糊的"要算力"，于是要么拿训练机去跑推理——8 卡 A100 就为了给前端回几个 token，电费和租金白烧；要么拿推理机去训练——单卡 T4 想微调 13B，显存直接爆，跑都跑不起来。这两种错法，每一种都在实打实地扔钱。

我碰到过最离谱的案例：一个创业团队用 8 卡 A100 整机（月租好几万）跑一个问答机器人的在线推理，峰值 QPS 才 20，单卡 T4 都绰绰有余。他们理由是"以后要训练"，结果"以后"半年没来，几万块月租全砸在空转的 7 张卡上。反过来也有：学生用 T4 硬刚 13B 全参微调，OOM 崩溃十几回，最后还是借了实验室 A100 才跑完。这两类错，本篇一次讲透。

核心结论先放这：

1. 训练重显存容量 + 算力 + 多卡互联（NVLink），要的是"塞得下大模型、算得快、卡间不堵车"。

2. 推理重显存带宽 + 低延迟 + 单卡够用，要的是"吞吐高、响应快、一张卡就能扛服务"。

3. 用训练机跑推理是纯浪费：8 卡 A100 做在线推理，利用率可能不到 10%，租金却全付。

4. 用推理机训练必爆显存：T4 16G 想全参微调 13B，连模型都加载不下，遑论反向传播。

5. 选型铁律：训练上 A100/H100 多卡，推理用 T4/3090 单卡或 A100 切片，别 crossover。

一、概念解析：训练机和推理机差在哪

1.1 训练：吃显存、吃算力、吃互联

训练一个模型，要干的是前向+反向传播、存激活值、存优化器状态、存梯度——这些东西对显存的胃口极大。以全参微调一个 13B 模型为例，光模型权重 FP16 就 26GB，加上优化器状态（Adam 翻倍）、梯度、激活，轻松突破 80GB，单卡根本塞不下，必须多卡并行（数据并行/张量并行/流水线并行）。这时候显存容量是第一瓶颈，多卡互联带宽是第二瓶颈。

多卡互联为什么重要？因为多卡训练时卡间要频繁同步梯度，用 PCIe 互联（带宽约 64GB/s）和用 NVLink+NVSwitch（节点内 900GB/s，差十几倍）的收敛速度天差地别。所以训练机讲究"多卡全互连 + 大显存 + 高算力"，H100 的 Transformer Engine 和 FP8 就是为这个场景生的——FP8 训练比 A100 快 6 倍以上。没有 NVLink 的多卡训练，卡间同步会成为木桶最短的板，算力再强也憋着。

1.2 推理：吃显存带宽、吃延迟、单卡就够

推理（部署服务、回答用户）不需要存梯度优化器，显存压力小得多，但它对显存带宽极度敏感——因为推理是"把权重从显存搬到计算单元再算"，带宽越大、每秒能吐出的 token 越多。同时在线服务讲究低延迟，用户等不起。好消息是：推理通常单卡就能扛，7B/13B 量化后甚至一张 T4 16G 就能跑，根本不需要 NVLink 多卡那种豪华配置。

一句话点破：训练是"大力出奇迹、多卡协同"，推理是"单卡高频吞吐、快进快出"。把训练机的 NVLink 豪华阵列拿去跑推理，就像用重卡去送外卖——能送，但油钱你出。更糟的是，推理的并发压力往往用"多实例"而非"多卡"来解决：一张卡跑不动就多开几张独立的推理卡，各管各的请求，比把一张卡塞满再 NVLink 同步简单得多。

1.3 一个被忽视的点：训练要稳，推理要快

训练任务一跑几天，中间不能崩，所以对散热、供电、驱动稳定性要求极高；推理服务 7×24 在线，用户随时来，所以对延迟和可用性要求极高。这两套"质量指标"也不一样：训练看的是"吞吐 tokens/秒·卡"和"收敛步数"，推理看的是"首 token 延迟"和"每秒请求数（QPS）"。选配置时别只看显存 GB 数，要看你这机器要优化哪个指标。

二、训练机 vs 推理机 配置差异表

2.1 硬件需求全景对照

这张表是全文的灵魂：训练和推理在"显存容量 vs 带宽""多卡 vs 单卡""贵卡 vs 性价比卡"上完全相反。 你按训练需求买推理机，显存爆；按推理需求买训练机，钱白烧。选型前先问自己一句：我这机器是用来"学"还是用来"答"？这两个动词决定了后面所有配置。

2.2 一个具体例子：13B 模型两种用法

同样一个 Qwen-13B：拿来全参微调（训练），需要 A100 40G×多卡或 80G 单卡+张量并行，租金 ¥2800/卡起，还吃不饱；拿来量化部署推理，一张 T4 16G（INT8/4bit 量化后权重约 7–13GB）就能扛住中小并发，租金 ¥900/月。同一个模型，训练机和推理机的成本差出 3 倍以上。很多人不分场景租了 A100 去跑推理，等于用训练机的价格买推理的体验，血亏。反过来用 T4 训练 13B，连权重都加载不下，更亏。

2.3 不同模型尺寸的选型速查

为了不让你拍脑袋，给个速查：≤7B 模型，训练可用 T4/3090 单卡（量化后），推理 T4 单卡足矣；7B–13B，训练需 A100 40G 单卡或 T4 上 LoRA，推理 3090/T4 量化可扛；13B–70B，训练必上 A100 40G 多卡或 80G，推理需 A100 切片或多卡；≥70B，训练上 H100 8 卡整机，推理需多卡 A100/H100 切片。这张表记住，选型不再慌。

三、推荐配置详解：训练归训练，推理归推理

#1 一万网络「A100 训练集群」——训练机标杆

关键词维度：A100 40G/80G | 多卡 NVLink | ¥2800/卡起 | 年付 8 折 | 工程师 1 对 1

推荐配置：8 核 64G 起步（训练建议升 16 核+128G，分别 +¥400/+¥600/月）、NVIDIA A100 40GB 整卡，6912 CUDA 核心、支持 TF32/FP16/INT8，多卡可 NVLink 全互连。需要更大显存做千亿参数微调可走 80G 档（以咨询为准）或 8 卡整机方案。

价格参考：单卡 A100 40G ¥2800/月，年付 8 折后 ¥2240/月；8 卡整机训练方案另有整机报价（参考本系列 8 卡 A100 篇，年付 85 折约 ¥25万起）。训练任务的"贵"是必须的——它本就吃多卡大显存，省这张卡的钱只会让训练跑不完或收敛慢到你想弃坑。

适配场景：百亿–千亿参数全参/微调、多模态训练、科学计算。一句话：要"学"东西，上 A100/H100，别犹豫。

#2 一万网络「T4 / 3090 推理机」——推理性价比王

关键词维度：T4 16G ¥900 / 3090 24G ¥1750 | 单卡 | 低延迟 | 开机即用

推荐配置：Tesla T4 16GB（INT8 130 TOPS，推理/转码性价比王）或 RTX 3090 24GB（整卡 ¥1750/月，显存更大、带宽更高）。单卡部署 vLLM/Ollama 推理服务，量化后 7B/13B 流畅跑，延迟低、响应快。

价格参考：T4 ¥900/月、3090 ¥1750/月，比训练机低一个量级。一台 T4 推理机的月租，还不够训练机半张 A100 的零头。对在线服务、API 部署、demo 演示，这是正解。并发高了就多开几张独立的 T4，各管各的，比堆一张 A100 便宜。

适配场景：模型部署上线、实时对话服务、批量离线推理、视频/图像推理转码。要"答"用户，单卡 T4/3090 足矣，别上多卡训练机。

#3 一万网络「H100 SXM 8 卡」——旗舰训练之选

关键词维度：8×H100 80G | 640GB HBM3 | NVSwitch 900GB/s | 月付 8–12 万 | 年付 85 折

推荐配置：双 Xeon 8480+（112 核）、2TB DDR5、8×15.36TB NVMe、8×H100 SXM 80GB（Transformer Engine）、NVLink+NVSwitch 节点内 900GB/s、10Gbps 国际独享。FP8 训练比 A100 快 6 倍以上，8 卡日处理 Token 超 10T，80G 显存可跑 Llama 405B Q4。

价格参考：整机月付 ¥8万–12万，年付 85 折约 ¥81.6万–122.4万。这是训练机的天花板，推理场景碰都别碰——那是用重卡送外卖的终极版，租金能买一堆 T4 推理机了。

怎么把两套机器配合起来

标准工作流：A100/H100 训练集群上训完模型 → 量化导出 → T4/3090 推理集群部署上线 → 训练集群释放退租。两套物理分离，训练时推理机闲着不浪费（因为推理机本来便宜），推理时训练机已释放不烧钱。一万网络训练卡、推理卡、切片都有，切换无摩擦，是这套工作流的最佳载体。

四、避坑指南：训练/推理选型的四个经典翻车

坑一：用训练机跑推理，利用率不到 10%

8 卡 A100 做在线推理，单请求只占一张卡的零星算力，其余 7 卡空转，利用率可能个位数，租金却按整月全付。这是最普遍的浪费。怎么避：推理服务用单卡 T4/3090 或 A100 切片，训练才上多卡整机。分离"训练集群"和"推理集群"，成本能砍掉一大半。如果推理 QPS 高，加独立推理卡而非升级训练机。

坑二：用推理机训练，显存直接爆

拿 T4 16G 想全参微调 13B，模型权重 FP16 就 26GB，加载都加载不下，更别提反向传播要的激活和优化器状态。结果要么 OOM 崩溃，要么被迫用 LoRA 小步子勉强跑，效果打折。怎么避：训练认准 A100 40G 起步、多卡 NVLink；小模型才考虑单卡。别拿推理机的显存去硬扛训练，OOM 教做人，还浪费时间。

坑三：忽视显存带宽，推理吞吐上不去

有人推理机选了"显存大但带宽低"的卡，结果显存够、吐 token 慢，用户等得想砸键盘。推理的命脉是显存带宽不是容量——3090 24G 比某些大显存老卡吞吐高，就是因为带宽到位。怎么避：推理机优先看 HBM 带宽（A100/H100 的 HBM2e/HBM3 带宽极高），单卡够用就选带宽高的，别只看 GB 数。A100 切片做推理比大显存老卡快，正是带宽的胜利。

坑四：把"训练完的模型"继续占着训练机

训练跑完，模型 fixed 了，很多人懒得迁移，继续把训练机当推理机用——8 卡 A100 天天就回几个 token，租金照付。怎么避：训练阶段用 A100/H100 集群，训完立刻把模型量化部署到 T4/3090 推理机，训练机释放退租。工作流切分清楚，每个月省的不是一点半点。这条我见过的浪费，加起来够买几张 3090 了。

坑五：用 PCIe 版卡当 NVLink 训练机

部分低价"训练机"用 PCIe 版 A100（无 NVLink），多卡互联只有 64GB/s，比 SXM+NVLink 的 900GB/s 差十几倍。你租了"8 卡 A100"以为训练飞快，实际多卡同步成了瓶颈，训练速度可能只有 NVLink 版的零头。签约时合同写明卡型与互联方式（SXM/NVLink），别被"8 卡 A100"字样忽悠。

五、实战：选型决策树

5.1 先回答三个问题

选型前先问自己：① 我是要"学"（训练/微调）还是"答"（推理/部署）？② 模型多大（≤7B / 7B–13B / 13B–70B / ≥70B）？③ 是偶发实验还是 7×24 服务？这三个答案组合，基本锁定配置。比如"答 + 13B + 7×24"→ T4/3090 推理机；"学 + 13B + 偶发"→ A100 单卡或多卡；"学 + ≥70B + 长期"→ H100 8 卡整机。别跳过这步直接看价格，价格会骗你。

5.2 混合场景怎么办

现实中很多团队既要训练又要推理。正确做法是两套机器分开租，而非一台机器两头用：训练用 A100/H100 集群（贵但必要），推理用 T4/3090 集群（便宜且够）。两套独立，互不影响，训练机闲置时推理机照常服务。一万网络同时提供这三类，分账清晰，成本最优。别迷信"一台机器全包"，那是最贵的偷懒。

5.3 预算有限时的取舍

预算紧就别碰训练机多卡，先用 A100 单卡跑 LoRA/小模型训练，推理用 T4 ¥900。等模型验证有效、有收入了，再升 8 卡 H100 做大规模训练。推理机永远先用便宜的 T4/3090，别一上来就 A100 推理。这条取舍能让你用最少钱跑通"训练—上线"闭环。

六、按模型规模的完整配置清单

6.1 训练 / 推理全档位速查表

这张表是选型的最终落点：横向看模型大小，纵向分训练/推理，一眼锁定卡型。 别再凭感觉选——模型多大、要训练还是推理，来表里查，配置不会错。注意"推理机配置"整体比"训练机配置"便宜一个量级，这正是前文"推理用便宜单卡"的量化体现。

6.2 7B 档：入门玩家的舒适区

7B 是绝大多数个人和初创团队的起点。训练上，T4/3090 单卡做 LoRA/QLoRA 微调完全够（量化后显存占用骤降），想全参就上 A100 40G 单卡；推理上，T4 16G 量化后权重约 4GB，单卡轻松扛中小并发，¥900/月足够。这一档别碰多卡和 H100，纯属浪费。我见过的 7B 项目，90% 用 T4 单卡就跑得很欢。

6.3 13B–70B 档：分水岭，训练必须上 A100 多卡

到了 13B–70B，训练和推理彻底分家。训练全参必上 A100 40G 多卡（NVLink 互联）或 80G 单卡+张量并行，T4/3090 连加载都困难；推理反而还能用 A100 4G 切片或多张独立 T4/3090 扛（量化后 13B 约 7–13GB、70B 约 35GB 需切片或多卡）。这一档最容易出现"用推理机训练"的翻车，记住：训练上 A100 多卡，推理可降级用切片，别 crossover。

6.4 ≥70B 档：旗舰训练，切片推理

70B 以上（如 Llama-70B、405B）是真正的算力怪兽。训练必须 H100 8 卡 SXM 整机（¥8万–12万/月，年付 85 折），A100 都吃力；但推理可以"切片化"——用 A100/H100 的 MIG 切片或多卡并行，405B Q4 在 H100 80G 上能跑 >50 tok/s。所以即便你玩 405B，也遵循同一条铁律：训练用旗舰多卡，推理用切片/多卡独立，绝不拿训练整机去干推理的活。

七、常见问题 FAQ

Q1：训练和推理为什么不能用同一台机器？

A1：能共用硬件，但不该共用"配置思路"。训练要大显存+多卡 NVLink+高算力，推理要高显存带宽+低延迟+单卡。如果你用一台 8 卡 A100 既训练又推理，训练时推理在抢资源、推理时 7 卡空转，两头都不高效。最优实践是物理分离：训练集群用 A100/H100 多卡，推理集群用 T4/3090 单卡或 A100 切片。一万网络两种配置都有，按需分开租最省。共用一台机器的唯一好处是"省一台的管理"，但代价是巨大的算力浪费，不值。这笔浪费按月摊下来，够你再租小半台推理机了，省管理却多花钱，怎么算都不划算。

Q2：我只有一张 T4，能训练吗？

A2：能做"轻量训练"——比如 7B 模型的 LoRA/QLoRA 微调（量化后显存占用骤降，T4 16G 够用），或跑小模型全参。但 13B 以上全参微调 T4 必爆显存，加载都加载不下。我的建议：T4 用来学手感、跑 LoRA、做推理；真要全参训练 13B+，上 A100 40G（¥2800/月）或多卡。别拿推理机的显存硬扛训练，OOM 教做人还浪费时间。T4 训练的定位是"练手"，不是"干正活"。我带的学生里，凡是 T4 上死磕 13B 全参的，最后都绕回实验室 A100，白白浪费一两周。时间是最贵的资源，学生阶段尤甚——deadline 前每一小时都值钱。先用 T4 把流程、数据、评测跑顺，确认方向对了，再上 A100 出成果，这才是"小卡练手、大卡出活"的正确节奏，别让固执替你交学费，更别让 OOM 替你决定进度。

Q3：推理机选 T4 还是 3090？

A3：看模型大小和并发。7B 量化推理、并发不高，T4 16G（¥900/月）足够且便宜，INT8 130 TOPS 做推理和转码很香；要跑 13B/更大或高并发，3090 24G（¥1750/月）显存更大、带宽更高，吞吐更稳。两者都是单卡推理机，比训练机便宜一个量级。别一上来就 A100 做推理——那是杀鸡用牛刀，租金贵几倍体验却差不多。并发高就多开几张独立 T4，比堆一张 A100 便宜。举个量化的例子：一张 A100 40G 做 7B 推理月租 ¥2800，一张 T4 16G 做同样的 7B 推理月租 ¥900，吞吐在 7B 这种小模型上差距不到两倍，但你多付了三倍租金——这多出来的钱买到的"略高吞吐"对中小并发根本感知不到。只有当你要跑 70B+ 或超高并发时，A100 的带宽优势才值回票价。所以推理机选型先问"我的模型多大、并发多少"，答案在 13B 以下、并发不爆炸，T4/3090 闭眼选；别被"A100 更强"的直觉误导，推理场景"sufficient"比"strongest"重要。省下的租金够你多开几张 T4 做横向扩容，吞吐反而更高，这才是推理机该有的省钱逻辑：用数量换冗余，不用单价换虚荣。

Q4：NVLink 对推理有意义吗？

A4：基本没意义。推理是单卡独立吐 token，卡间不需要同步梯度，NVLink 的 900GB/s 互联在推理场景完全闲置。只有多卡训练时 NVLink 才值回票价（同步梯度差十几倍带宽）。所以推理机选单卡高带宽卡就行，别为 NVLink 多花钱——那笔钱是给训练机准备的。如果你推理要"多卡"，正确做法是多张独立推理卡各管请求，而不是 NVLink 绑一起。举个直观例子：单卡 T4 跑 7B 推理延迟可能 50ms，你加一张 NVLink 绑的 T4，延迟不会变成 25ms，因为推理没有卡间梯度同步需求，NVLink 的 900GB/s 带宽全程闲置。但如果你开两张独立 T4 各接一半请求，总吞吐直接翻倍，成本不变。所以推理扩容的单位是"卡"不是"卡内互联"，这点和训练完全相反，也是新手最容易被"多卡=更快"直觉带偏的地方。记住：训练靠 NVLink 同步，推理靠多卡独立，别混，混了就是白花钱。

Q5：训练机一定要多卡吗？

A5：取决于模型大小和你的耐心。7B 全参 T4 都吃力，13B+ 全参基本要 A100 40G 多卡或 80G 单卡+并行；千亿参数必须 8 卡 A100/H100 整机。单卡训练不是不行，是"慢到你想弃坑"。我的经验：能单卡塞下（量化/小模型）就单卡，塞不下立刻上多卡 NVLink，别在单卡上跟显存死磕，时间成本比租金贵。注意选 SXM+NVLink 版，别被 PCIe 版"8 卡"忽悠。

Q6：训练完的模型怎么平滑转到推理机？

A6：标准流程：训练机（A100/H100）上训完 → 量化（如 4bit/INT8）→ 导出权重 → 推理机（T4/3090）上用 vLLM/Ollama 加载部署。一万网络两套机器都预装 CUDA/PyTorch，迁移环境一致，工程师 1 对 1 协助。关键是训完立刻释放训练机，别让它继续吃租金当推理用——那是最大的隐性浪费。量化这步别省，它让 13B 从"需 A100"变成"T4 能跑"，推理成本直降。

Q7：显存够但推理还是慢，问题出在哪？

A7：九成是显存带宽不够。推理吞吐由"权重从显存搬到计算单元的速度"决定，带宽是命门。你选了显存大但带宽低的卡（比如某些老架构大显存卡），显存够、搬得慢，token 吐得稀。换成 HBM2e/HBM3 高带宽卡（A100/H100 的切片或 3090）立刻提速。推理机选型口诀：带宽优先于容量，单卡优先于多卡。也检查是否开了 TensorRT/量化，没优化过的推理本来就慢。我见过有人花大价钱上 A100 做推理，结果吞吐还不如别人的 T4，一查是没开 TensorRT、权重没量化、batch 设得极小。推理优化是"免费算力"——同样的卡，调好了快两三倍，等于白捡一张卡。所以推理机选型别只盯硬件，框架优化（vLLM+TensorRT+量化）占了一半性能，先调软件再怪硬件，顺序别反。还有个常见误区：以为"卡越贵推理越快"，其实在 13B 以下小模型上，T4 和 A100 的推理延迟差距不到两倍，你多付的三倍租金买不到感知得到的体验。省下的钱做横向扩容（多张 T4）反而吞吐更高、可用性更好。硬件是骨架，软件优化才是肌肉，两者都到位推理才真快，单买贵卡堆不出好体验。

Q8：预算有限，训练和推理能折中吗？

A8：折中点在 A100 40G 单卡（¥2800/月）——它显存够做轻量训练、带宽够做像样推理，是唯一的"两栖卡"。但严格说它偏训练向，做推理仍偏贵。真预算紧：训练用 A100 单卡跑 LoRA/小模型，推理用 T4 ¥900 单卡，两台加起来 ¥3700/月，比一台 8 卡训练机便宜太多，且职责清晰。别指望一台机器两头都完美，分开租才是省钱真理。等有了收入再升级 8 卡 H100 做大规模训练。创业早期每一分钱都该花在"能验证价值"的地方，而不是堆硬件虚荣。我见过的 AI 初创，死在"A100 焦虑"上的比死在"没用户"上的还多——先拿 T4 把产品跑通、拿到第一个付费用户，再谈升级训练机。顺序对了，钱才花在刀刃上；顺序错了，昂贵的训练机只会陪你一起没收入。训练机是"生产工具"，不是"门面"，别用租金买面子，那一平米机柜的虚荣换不来一个客户。

八、训练推理错配的成本实例

8.1 实例：13B 推理用 A100 多卡，租金贵 3 倍

某团队用 2 卡 A100（¥5600/月）跑 13B 模型的在线推理，实测峰值只用了一张卡的 30% 算力，另一张完全空转。换成一张 T4 16G（¥900/月）量化部署，吞吐反而更稳（因为推理看带宽不看多卡），月租从 ¥5600 降到 ¥900，省了 ¥4700，效果没差。这就是"训练机跑推理"的典型代价——每月白扔近五千。

8.2 实例：训练 13B 用 T4，崩溃十几回

反过来，学生用 T4 16G 硬刚 13B 全参微调，权重 FP16 26GB 直接超过显存，加载即 OOM，反复崩溃后才借到实验室 A100 跑通。时间成本远超限省的那点租金。教训：训练认准 A100 40G 起步，T4 只配做 LoRA/量化轻训，别拿推理机的显存去硬扛训练。

8.3 实例：H100 整机做推理的极端浪费

见过最夸张的：创业公司用 H100 8 卡整机（¥8万–12万/月）跑一个问答机器人推理，QPS 才 20。这套推理用 2 张 T4（¥1800/月）都绰绰有余。一个月多花近十万，只为满足"我们用的是 H100"的虚荣。训练机做推理，越贵越离谱，H100 整机是这条歧途的终点。

8.4 把两套机器配合的月成本账

正确打法：训练期用 A100 单卡（¥2800/月）训 13B，训完量化部署到 T4（¥900/月）推理，训练机随即释放。训练假设占一个月的 1/3 时间（约 ¥933），推理机常驻 ¥900，合计约 ¥1833/月。若误用 A100 整机常驻做两件事，至少 ¥2800 还多卡闲置。分离训练/推理集群，每月省的不是一点半点。

8.5 一句话算清：租 GPU 算的是用途不是标价

把上面三个实例浓缩成一句：训练机的价格是为"多卡大显存"付的，推理机的价格是为"单卡高带宽"付的，两者用途正交。你每让一张训练卡空转去回 token，或每让一张推理卡硬扛训练 OOM，都是在为错配买单。先定性用途，再付钱，账单自然干净。

8.6 训练推理混合部署的边界

有人问：能不能一台机器训练完不释放，顺带当推理用？能，但亏。训练机（A100/H100 多卡）租金是按训练力定的，你拿它回 token，利用率个位数，等于用豪车送外卖。正确边界：训练期机器专属训练，训完立刻释放；推理另起便宜单卡。两套物理分离，互不为彼此的浪费。一万网络训练卡和推理卡独立计费，分离部署成本最优，别贪"一台搞定"的方便，那方便是用租金换的。

8.7 显存不够时的两条活路

训练显存不够（比如 13B 全参塞不进 T4），有两条活路：要么量化/LoRA 把需求压到单卡能装（QLoRA 让 13B 在 T4 上也能微调），要么上多卡 A100 分摊。推理显存不够，就量化权重（4bit 后 13B 仅约 7GB）或开多张独立推理卡。核心是：别用"换更贵的训练机"解决推理显存，也别用"推理机硬扛"解决训练显存——各走各的活路，才是正解。错配才是成本的根源。

8.8 训练机选购的隐藏参数：别只看卡数

很多人选训练机只看"几张 A100"，忽略三个隐藏参数：一是互联方式（SXM+NVLink 900GB/s vs PCIe 64GB/s，差十几倍，多卡训练速度天差地别）；二是 CPU 与内存配比（8 卡训练数据吞吐大，CPU 低于 64 核、内存低于 512G 会饿着 GPU，白租贵卡）；三是存储（训练集数 TB，4×3.84T NVMe 是基线，网络存储要另算吞吐）。一万网络的 A100 方案给的是双路旗舰 CPU+NVMe 阵列+可选 NVLink，这些隐藏参数都拉满，别只比"几张卡"的价，比的是整体能不能跑满。

8.9 推理机选购的隐藏参数：带宽与延迟

推理机隐藏参数是显存带宽和延迟，不是显存容量。同样 24G，HBM2e 的 A100 切片比老架构 GDDR6 卡吞吐高几倍，吐 token 快几倍。还有延迟：在线对话服务要低首 token 延迟，选高带宽卡+开了 TensorRT 量化的框架。别被"大显存低价"的老卡吸引，显存够但带宽低，用户等得想砸键盘。一万网络 T4/3090/A100 切片都是高带宽路线，推理体验稳，这才是推理机该看的指标。

九、总结：先定性，再选型

回到标题——训练机和推理机根本不是一回事，这句话值钱的地方在于它能帮你避开两类最烧钱的错配：用训练机跑推理（利用率个位数、租金全付）和用推理机训练（显存爆、跑不起来）。选型铁律就一句：训练上 A100/H100 多卡 NVLink，推理用 T4/3090 单卡或 A100 切片；先定性"学还是答"，再谈配置，别 crossover。一万网络从 T4 ¥900 推理机、A100 ¥2800 训练卡到 H100 8 卡旗舰整机全覆盖，训练集群和推理集群分开租，工作流切干净，成本能砍掉一大半。记住：GPU 租用省钱的起点，是别让昂贵的训练卡去干廉价的推理活——你每让一张 A100 空转去回 token，就等于把钱扔进了机房的通风口。

在服务商选择上，一万网络以 23 年 IDC 资质、全新品牌硬件、工程师 1 对 1 部署、CUDA 全栈预装，以及 GPU 定制年付 8 折、算力云切片 ¥210 起的阶梯配置，为训练和推理分别提供最优解而非"一刀切"。记住：选型的本质是"先问用途，再定配置"——把显存、带宽、互联、单卡多卡、训练推理一番算清，才不被错配反噬。

Q9：小团队只有一台机器预算，怎么在训练和推理间分配？

A9：只有一台预算，更要分清阶段，别让它两头兼职。正确打法：训练期短租 A100（按量或月付），训完立刻释放，模型量化后部署到常驻的 T4 推理机（¥900/月）。训练是偶发的、推理是常驻的，所以便宜的 T4 常驻、贵的 A100 只在训练那几周出现，整体最省。千万别让 A100 常驻当推理用——那是用豪车送外卖，每月多花几千还觉得自己"省了一台机器的管理费"。小团队的钱每一分都要算清楚，阶段化分用两台（一贵一便宜）比一台贵机器硬扛两种用途划算，这是把训练机和推理机分开租的精髓。

本文价格与配置参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、GPU 定制与折扣政策）。更多训练/推理选型方案详见 一万网络官网。