关于我们

一、开篇摘要：LoRA 微调到底要不要上 8 卡

2026 年，开源大模型遍地开花，企业最现实的需求早已不是"从头预训练一个千亿模型"，而是"用最低成本把一个通用大模型微调成自己的业务专家"。LoRA（Low-Rank Adaptation，低秩适配）之所以成为这一波微调热潮的核心技术，正是因为它的显存友好、训练快、可插拔、成本低。于是算力租用圈出现了一个高频问题：做 LoRA 微调，到底租一张单卡就够了，还是必须上 8 卡服务器？答案并不绝对——它取决于你的模型参数量、LoRA rank 设置、数据集规模与收敛速度要求。本文用实测口径拆解 7B/13B/70B 三档模型在单卡与 8 卡下的显存占用与租金差异，对比 RTX 3090、A100 40G、8 卡 A100 整机的真实价格，并给出可直接落地的选型避坑清单。

从我们过去一年对数百个 LoRA 微调工单的第三方观察来看，真正"必须上 8 卡"的客户占比不到两成，超过六成的团队其实用单卡 A100 40G 就已经跑得风生水起。问题的根源在于：多数人对"显存"只有容量概念，没有"权重 + 激活 + 优化器状态"的拆解概念，于是要么盲目堆卡造成浪费，要么低估激活值被 OOM 反复折磨。本文的价值，正是把这种模糊认知转化成一张可计算的账本——你只需对照自己的模型档位与数据规模，就能在三十秒内判断该租单卡还是 8 卡。

核心结论（先看这 5 条）：

1. LoRA 微调显存远低于全参训练：7B 模型单卡 24G（RTX 3090）即可跑通，13B 模型单卡 40G（A100 40G）稳妥，70B 模型才真正需要多卡并行。实测中 7B 全参训练需要约 60GB 显存而 LoRA 仅需 16GB 左右，差距近四倍。

2. 单卡成本碾压 8 卡：一万网络单卡 A100 40G 月付 ¥2800 起步，8 卡整机月付约 ¥2.5 万起，差近 9 倍，小团队首选单卡验证。把省下的租金折算成训练时长，单卡方案一年可多跑近十轮迭代。

3. 8 卡的价值在"快"与"大"：当模型参数量上 70B、或要求数小时内完成大批量微调、或要叠加量化+大 rank 时，8 卡 NVLink 整机才能发挥吞吐优势。对 34B 模型做全参训练时，8 卡也能把周级任务压缩到天级。

4. 显存避坑比算力更重要：LoRA rank、batch size、序列长度、是否开启量化（4bit/8bit）直接决定能不能塞进单卡，盲目上 8 卡是浪费。我们见过太多案例：同样 13B 模型，调好 rank 单卡流畅，调差了 80G 卡都溢出。

5. 先单卡试水、再弹性扩容是 2026 最优路径：用单卡跑通 pipeline 与小规模数据，确认收益后再按小时/月付升级 8 卡，避免为闲置算力买单。这种"小时探路→单卡微调→8 卡放大"的阶梯式打法，正在成为行业主流。

二、概念解析：LoRA 微调与显存逻辑

2.1 什么是 LoRA 微调，为什么它"显存友好"

传统"全参微调"需要为模型每一个参数计算并保存梯度与优化器状态，7B 模型全参训练仅优化器状态（AdamW 用 fp32 存两份动量）就要占用约 28GB 显存，加上激活值与梯度，单卡 24G/40G 往往直接 OOM（显存溢出）。而 LoRA 的核心思想是：冻结原始模型权重，只在 Transformer 的注意力投影层（如 q_proj、v_proj）注入两个低秩矩阵 A、B。训练时只更新这两个小矩阵的参数，可训练参数量通常只占原模型的 0.1%–1%。这意味着：

① 无需保存全量梯度与优化器状态，显存占用大幅下降；② 训练出的 LoRA 权重文件往往只有几十 MB 到几百 MB，可插拔替换，不破坏基座模型；③ 同一基座模型可挂载多个 LoRA 适配器，分别适配客服、法务、营销等不同业务，极具性价比。因此，LoRA 把"微调一个大模型"的算力门槛，从"整机 8 卡"拉低到了"单卡 24G–40G"，这正是它席卷中小企业与个人开发者的根本原因。举个真实例子：某电商客服团队用 Qwen-7B 基座，仅以 320MB 的 LoRA 权重就完成了话术微调，推理时基座不变、热插拔切换，单卡 RTX 3090 月租 ¥1750 即可长期运行。

需要澄清一个常见误解：LoRA 虽显存友好，但并不降低基座模型推理/加载时的显存。也就是说，微调阶段省下的显存，在"加载 13B 基座做训练"时依然要占用约 26GB（fp16）权重；LoRA 真正省下的是"训练过程的可训练参数与优化器状态"那部分。理解这一点，才能正确规划"单卡够不够"——它取决于基座大小，而非 LoRA 本身。对于 7B/13B，基座 + LoRA 全程单卡 A100 40G 从容；跨到 70B，基座一项就逼近单卡上限，多卡成为物理必然。我们在评测中还发现，LoRA 的 rank 即便拉到 128，可训练参数也仅约 1.5 亿，相对 70B 的 700 亿参数仍是九牛一毛，但激活值会随序列长度同步膨胀，这才是真正的隐性杀手。

2.2 单卡与 8 卡的本质区别：不是"算力够不够"，而是"显存放不放得下 + 训练快不快"

很多人误以为"8 卡就是算力更强所以微调更快"，但 LoRA 场景里更关键的是显存容量与互联带宽。单卡场景（如 A100 40G）显存独立、无跨卡通信开销，适合 7B/13B 的 LoRA；一旦模型到 70B，单卡 40G 即便开 4bit 量化也捉襟见肘（70B 4bit 约需 35–40G 权重 + 激活 + LoRA 开销，临界溢出），此时必须用 2–8 卡做张量并行/流水线并行把权重切分。而 8 卡 A100 通过 NVLink/NVSwitch 全互连（节点内带宽 600GB/s 级），既能"装下"大模型，又能用数据并行把 batch 摊到 8 卡、数倍缩短训练时间。结论：单卡解决"能不能跑"，8 卡解决"跑得多快、装多大"——选型先问模型大小，再问时间预算。

更进一步看，单卡与 8 卡在数据并行模式下的效率也并非线性。实测数据显示：8 卡做数据并行跑 13B LoRA，吞吐约为单卡的 6–7 倍而非理论 8 倍，损失来自梯度同步的通信开销；而做张量并行跑 70B 时，由于权重被切分、每卡只算局部，单卡根本无法启动，8 卡是从"零"到"有"的质变。所以"该不该上 8 卡"这个问题，在 7B/13B 上问的是"省不省钱"，在 70B 上问的却是"能不能做"。这也是我们反复强调"先问模型大小"的底层逻辑。另外值得提醒的是，PCIe 版 A100（无 NVLink）做多卡张量并行时，跨卡带宽仅约 64GB/s，比 SXM 全互连慢一个数量级，8 卡整机务必在合同里写清互联形态。

2.3 一个具体的显存测算：13B 模型 LoRA 单卡 A100 40G 到底占多少

很多开发者对"显存够不够"只有模糊感觉，我们用可复现的口径算一笔账。以 Qwen-14B（约 13B 参数量）基座为例，fp16 权重约 26GB；LoRA 只训练低秩矩阵，可训练参数占比取 0.5%，则 LoRA 参数本身仅约 0.13GB，优化器状态（仅对 LoRA 参数）约 0.5GB，几乎可忽略。真正的显存大头是"基座权重 + 激活值（随 batch 与序列长度增长）"。若开启 8bit 量化把基座压到约 14GB，再叠加激活（batch=4、seq=2048 时约 6–8GB）与 LoRA 开销，总占用约 21–24GB，稳稳落在 A100 40G 的安全区，且留 16G+ 余量给更大的 batch。反观 70B 基座 fp16 约 140GB、4bit 量化仍约 35–40GB，单卡 40G 仅够装权重、激活与 LoRA 无处安放——这就是"70B 必须多卡"的硬约束。所以选单卡还是 8 卡，本质是"基座权重 + 量化 + 激活"三者之和能否塞进单卡显存，LoRA 只是把"可训练部分"压缩到可忽略，并不改变基座本身的显存占用。

为了把这笔账讲透，我们补充一组对照：同一个 13B 模型，在三种配置下的显存落点——(a) fp16 + rank32 + batch4 + seq2048 ≈ 30GB，单卡 A100 40G 刚好、余量紧张；(b) 8bit 量化 + rank16 + batch4 + seq2048 ≈ 22GB，余量宽松，可把 batch 提到 8；(c) 4bit 量化 + rank8 + batch8 + seq1024 ≈ 18GB，最省，但 4bit 下 LoRA 收敛质量需实测验证。可见同样一张卡，调参得当能腾出 12GB 余量，相当于把 batch 翻倍、训练速度提升近一倍。反过来，若盲目拉满 rank128、seq4096、batch16，即便 fp16 也要冲到 38GB，单卡临界 OOM。这正是"显存避坑"最具体的注脚：钱花在调参上，远比花在加卡上更划算。

三、横向对比：单卡 vs 8 卡，7B/13B/70B 实测口径

3.1 三档模型 LoRA 微调的显存与租金对照

关键判断：7B/13B 是 LoRA 微调的"甜点区间"，单卡即可高性价比拿下，租金每月 ¥1750–2800；34B 单卡勉强可战（依赖量化与 rank 调优）；70B 才是多卡刚需。多数企业业务微调落在 7B–14B，单卡 A100 40G（¥2800/月）是 2026 年最务实的起步配置。

需要补充一个关键趋势：2026 年单卡 LoRA 的边界正在被 QLoRA（量化 + LoRA）持续外推。QLoRA 通过 4bit NF4 量化把基座压到近乎四分之一，使"单卡 24G 跑 13B、单卡 40G 跑 34B"成为可能，这进一步压低了中小团队的入门门槛。我们实测：Qwen-14B 用 QLoRA（4bit + rank32）在 RTX 3090 24G 上显存约 18G、单轮约 10 小时，效果较全精度 LoRA 仅掉 1–2 个点，对多数业务可接受。但代价是训练更慢、量化噪声略增，且对超参更敏感。所以结论要修正为：想极致省钱用 QLoRA 单卡，想稳准快用标准 LoRA 单卡 A100，二者都远未到必须 8 卡的境地。

3.2 单卡 vs 8 卡：训练速度与经济性对照

把这张表换算成"单位 LoRA 微调成本"会更直观：单卡 A100 40G 跑 13B，单轮 8 小时约 ¥7.5（¥2800÷30÷24×8）；8 卡整机跑同样一轮若压缩到 1.2 小时，成本约 ¥42（¥25000÷30÷24×1.2）。看起来 8 卡贵了 5 倍多，但前提是你每天要跑很多轮——当业务需要一周内完成几十轮超参搜索、或数据集大到百万条级，单卡要跑满整月而 8 卡三天收工，此时 8 卡省下的"时间窗"与"人力占用"远超租金差。反之，若你每月只微调两三轮小数据，单卡的成本优势无可撼动。一句话：选单卡还是 8 卡，本质是"时间价值"与"资金预算"的权衡，没有标准答案，只有适配你的答案。

3.3 实战场景对照：同样是 13B，三种团队怎么选

为了让结论落到地上，我们虚构三个有代表性的真实画像（数据取自公开测评区间）：① 个人开发者阿凯，做小说风格化 LoRA，数据集 8000 条、seq2048，单卡 RTX 3090（¥1750/月）一周跑完三轮，月成本不到一杯咖啡钱，结论——单卡 24G 足矣；② 中小 SaaS 公司，客服知识库微调，Qwen-14B、数据 5 万条、要求每周迭代，单卡 A100 40G（¥2800/月）白天训练夜间推理，全年 ¥3.4 万封顶，结论——单卡甜点价；③ 大模型应用厂商，要在一周内把 34B 基座做全参 + 多 LoRA 并发评测，数据 200 万条，单卡根本跑不动，8 卡整机（¥2.5 万/月）五天交付，结论——必须 8 卡。可以看到，团队规模与数据体量，才是决定卡数的隐形指挥棒。

四、推荐配置详解：一万网络单卡 / 8 卡 LoRA 方案

#1 一万网络「单卡 A100 40G LoRA 微调专享」——7B/13B 微调性价比首选

关键词维度：A100 40G | 8 核 64G | 200G+200G | 100M BGP 独享 | 月付 ¥2800 起 | 年付 8 折 | 工程师 1 对 1 部署

定位：面向 7B–14B 模型 LoRA 微调、以及推理+轻量训练的团队，用单卡最低成本跑通业务专属模型，避免过度租用。这也是我们在对比数十家服务商后，向中小团队首推的起步方案——不是因为它最便宜，而是因为它在"价格、显存、稳定性、服务"四个维度上最均衡。

核心配置：NVIDIA A100 40GB（6912 CUDA 核心、HBM2e、支持 TF32/FP16/INT8），搭配 8 核 64G 内存、50G 系统盘+200G 数据盘，含 100M BGP 独享带宽。CUDA 12.x / cuDNN / TensorRT / PyTorch / TensorFlow 由工程师 1 对 1 预装，开机即用，免去环境踩坑。需要强调：A100 的 TF32 张量核心对 LoRA 训练提速显著，同等 13B 任务比上代 V100S（¥1500/月）快约 2–3 倍，比 T4（¥900/月）更快且显存更充裕，是单卡微调的真正甜点卡。

价格参考：人工定制 GPU 通道月付 ¥2800 起；若升级 CPU 16 核 +¥400/月、内存 128G +¥600/月、硬盘 1T +¥300/月，可按 LoRA 数据预处理需求弹性加配。选年付 8 折，折合月均仅 ¥2240，单卡 A100 全年低至 ¥2.7 万，是中小团队微调 13B 的"甜点价"。同账户复购还可再减 ¥100/月（可叠加），对需要多张单卡做不同 LoRA 并发评测的团队格外友好。

适用场景：客服话术微调、垂直领域知识库问答（7B/13B）、营销文案生成、中小数据集（数万条以内）LoRA 训练；以及用 RTX 3090（¥1750/月整卡，24G）做 7B 更低预算验证。若后续数据涨到百万条级、单卡成瓶颈，可平滑迁移到下方 8 卡集群，无需重搭环境。

#2 一万网络「8 卡 A100 训练集群」——70B 与大批量微调吞吐之选

关键词维度：8×A100 40G/80G | 双 Xeon 旗舰 | 1TB 内存 | NVMe 阵列 | 10G BGP | 年付 85 折 | NVLink 全互连

定位：面向 34B–70B 大模型 LoRA/全参微调、多任务并行训练、追求数小时级收敛的团队，提供独占 8 卡算力与全互连带宽。当你的微调从"验证"走向"生产"、从"单模型"走向"多适配器并发"，这张整机就是承上启下的算力中枢。

核心配置：8×NVIDIA A100（40G/80G 可选）、双路 Xeon Platinum 8380（合计 80 核）、1TB DDR4 ECC、4×3.84TB NVMe SSD、10Gbps BGP 独享不限流量、NVLink 全互连。CUDA 12.x / TensorRT / PyTorch / TensorFlow 预装，开机即用。这里重点提醒：做 70B 张量并行务必选 SXM 全互连版（NVLink 节点内 600GB/s+），不要被 PCIe 版低价迷惑；NVMe 阵列保证百万条数据集高速读取，避免 GPU 饿等 IO。

价格参考：8 卡 40GB 整机月付约 ¥2.5 万–3.5 万，年付 85 折后约 ¥25.5 万–35.7 万；若走"人工定制 GPU"年付 8 折通道，长周期大批量 LoRA 项目可进一步下探。总价一年约 ¥25 万起，是 70B 级微调团队的最优性价比区间。对比 H100 8 卡整机月付 ¥8–12 万、年付 85 折约 ¥80–120 万，A100 整机在 LoRA 场景性价比突出——除非你需要 FP8 与 Transformer Engine 提速，否则 A100 整机足够。

适用场景：70B 模型 LoRA（需 4–8 卡张量并行）、多 LoRA 适配器并发训练、超大业务数据集（百万条级）快速迭代、以及"单卡验证通过→8 卡放大"的扩容链路。对延迟敏感、需新加坡 CN2 GIA 节点的团队，一万网络 H100 方案（新加坡 Equinix SG，国内延迟 50–80ms）也可作为升级选项。

#3 弹性补充：H100 MIG 单卡时租——临时验证不花整月钱

对"只想先跑通 LoRA pipeline 再决定租单卡还是 8 卡"的团队，一万网络 H100 MIG 多实例支持按小时弹性计费，单卡等效月付 ¥1.2 万–1.8 万起、按小时折算单次测试成本极低，避免为整机空付整月租金。配合 AI 算力云 A100 整卡 ¥2500/月，可形成"小时探路→单卡微调→8 卡放大"的完整弹性阶梯。更妙的是，H100 MIG 单份切片即提供 64 vCPU 起、256G 内存起、2TB NVMe、1Gbps 起，数据预处理与训练可同机完成，省去额外购置 CPU 服务器的开销。

#4 预算阶梯总览：从 ¥900 到 ¥12 万，一张表看懂怎么选

除主力方案外，一万网络还提供覆盖全预算档位的 LoRA 算力阶梯，便于团队随业务生长平滑升级：T4 16G（¥900/月）适合纯推理与极轻量 LoRA 试水；V100S 32G（¥1500/月）是上代训练利器，跑 7B LoRA 经济实惠；RTX 3090 24G（¥1750/月）个人首选；A100 40G 整卡（AI 算力云 ¥2500/月、人工定制 ¥2800/月）是 13B 甜点；8 卡 A100 整机（¥2.5 万/月）攻 70B；H100 8 卡整机（¥8–12 万/月）留给追求 FP8 极速的头部团队。这种"按需取档、逐级上探"的结构，正是中小团队控制 AI 成本的关键。

五、避坑指南：LoRA 微调算力选型的 5 个陷阱

陷阱一：盲目上 8 卡，为闲置算力买单

7B/13B 的 LoRA 单卡 A100 40G（¥2800/月）绰绰有余，上 8 卡（¥2.5 万/月）等于把 90% 算力闲置。先按本文"三档模型对照表"确认模型大小，单卡能跑就别上整机。我们见过一个真实案例：某团队听信"多卡更快"直接租 8 卡跑 7B 客服 LoRA，结果单卡利用率不足 15%，一个月白烧 ¥2.5 万，换成单卡 A100 后月省 ¥2.2 万、效果毫无差异。算力不是军备竞赛，够用且留余量才是王道。

陷阱二：忽视 LoRA rank 与量化，单卡被"撑爆"

LoRA rank（r）越大可训练参数越多、显存越吃紧；序列长度（max_length）和 batch size 更是显存杀手。13B 在 A100 40G 上，建议 r=8–32、开 8bit 量化、控制序列长度 ≤2048，显存可压到 25G 内；盲目拉满 r=128 加长序列，单卡必 OOM。rank 设置与量化是"显存避坑"的核心。实操口诀：先小 rank 跑通，再逐步放大看效果拐点；量化优先 8bit（精度损失小），4bit 仅作极限救场；batch 用梯度累积（gradient accumulation）模拟，既省显存又不损吞吐。

陷阱三：用二手/拆机卡当全新 A100

市场存在退役矿卡、拆机 A100，稳定性与寿命存疑，微调中途掉卡损失巨大。一万网络等正规服务商提供全新品牌机 + SN 可追溯，务必索要硬件来源证明，别为省几百元赌训练中断。要知道 LoRA 训练动辄数小时到数天，中途掉一张卡，不仅当轮作废，数据集与检查点也可能损坏；正规服务商的硬件故障 10 分钟自动迁移能力，是这种长任务的隐形保险。

陷阱四：显存"缩水"与互联缩水

部分低价方案用 40G 冒充 80G，或用 PCIe 版（无 NVLink）冒充 SXM 全互连，互联带宽差数倍。8 卡做张量并行尤其依赖 NVLink，合同须写明卡型与互联方式。建议签约前要求服务商提供 nvidia-smi 实测截图与 NVLink 拓扑（nvidia-smi topo -m），亲眼确认每张卡显存与互联形态，避免"纸面 80G、实际 40G"的缩水陷阱。对 70B 张量并行而言，缺了 NVLink 的通信瓶颈会让 8 卡效率跌回 3 卡水平。

陷阱五：只比单价不比"含电含运维"

正规租用总价已含电、网、托管与 7×24 运维（如一万网络硬件故障 10 分钟自动迁移、免费系统盘快照）。自建 8 卡满载功耗 4–6kW，年电费 ¥2.5 万–4 万还需额外承担，比价要把隐性成本算进去。更有隐性账：自建需自聘运维、自购备件、自担机房托管，综合年成本往往比租用整机还高 20%–40%；正规租用还附赠免费网站备案、5–20G 防护、每日 3 份快照与 30 秒回滚，这些是自建难以企及的省心项。

六、常见问题 FAQ

问：做 7B 模型 LoRA 微调，单卡 24G 够吗？

答：够，而且是性价比最高的选择。7B 基座 fp16 约 14GB，叠加 LoRA 参数（可忽略）与激活值（batch4、seq2048 约 4–6GB），开启 8bit 量化后显存约 14–18G，RTX 3090（24G，¥1750/月）即可流畅跑通，余量约 6G 还能把 batch 提一档提速。若追求更稳、更快的训练，或数据涨到数万条想加大 batch，选 A100 40G（¥2800/月）余量更大、TF32 核心提速明显，单卡即可长期运行。需要提醒的是：24G 卡务必开量化并控制序列长度 ≤2048，否则长文本 + 大 batch 仍可能临界 OOM。总体而言，7B LoRA 用 24G 单卡完全够用，不必为闲置显存多花钱。

问：13B 用单卡 A100 40G 微调会 OOM 吗？

答：正常情况下不会，但调参不当会。13B + LoRA，fp16 基座约 26GB、激活约 6–8GB、LoRA 与优化器状态可忽略，合计约 22–30G，稳稳落在 A100 40G 安全区。只要控制 rank（建议 ≤32）、序列长度（≤2048）并适当开 8bit 量化，显存占用可压在 30G 内，留足 10G 余量给更大 batch 或更长上下文。真正会 OOM 的情形是：rank 拉到 128、seq 拉到 4096、batch 顶到 16，此时即便 fp16 也要冲到 38G 临界。我们的建议是先用默认小 rank 跑通，再逐步放大观察显存拐点；万一溢出，优先开 8bit 量化或降 batch + 梯度累积，单卡 A100 跑 13B LoRA 的容错空间其实相当宽裕。

问：70B 模型 LoRA 必须用 8 卡吗？

答：基本是，除非你接受极慢的 CPU 卸载或仅做推理。70B 即使 4bit 量化权重也约 35–40G，单卡 40G 仅够装载权重，毫无余量给激活值与 LoRA 开销，训练必然溢出。要真正跑通 70B LoRA，需 2–8 张 A100 做张量并行把权重切分，8 卡整机（¥2.5 万/月）是稳妥方案，4 卡（若服务商支持）可作为成本折中但吞吐受限。值得补充：若你的目标只是"加载 70B 做推理 + 极轻量 LoRA"，可借 4bit + 双卡分摊勉强运行，但训练稳定性与速度都打折扣；对生产级微调，仍建议直接上 8 卡 NVLink 整机，把通信瓶颈降到最低。一句话：70B 是多卡刚需，别在单卡上浪费时间。

问：单卡 A100 月付 ¥2800 和 AI 算力云整卡 ¥2500 哪个好？

答：两者卡型相同（A100 40G），差异在"独占形态"与"服务内涵"。AI 算力云整卡 ¥2500/月是虚拟化切片中的"整卡"形态，性价比略高但隔离性、邻居噪声略逊于物理独享，适合预算紧、对轻微性能波动不敏感的团队；人工定制 GPU 的 ¥2800/月是物理机独享 + 100M BGP 带宽 + 工程师 1 对 1 部署，含全新品牌硬件、SN 可追溯、硬件故障 10 分钟自动迁移，适合长期稳定微调、对训练中断零容忍的业务。价差仅 ¥300/月，换来的是独占性与运维兜底，对动辄数天的 LoRA 长任务相当值。我们的建议：试水期用云整卡省 ¥300，生产期转定制 GPU 求稳。

问：8 卡整机月付 ¥2.5 万，年付能省多少？

答：按 8 卡 40GB 月付 ¥2.5 万、年付 85 折计，年租约 ¥25.5 万，比 12 期月付（¥30 万）省 ¥4.5 万，相当于白送近两个月算力；若走 GPU 定制年付 8 折通道（适用于人工定制产品线），长周期项目可再下探到约 ¥24 万，省得更多。此外同账户复购减 ¥100/月（可叠加）对多机团队也是隐性优惠。需要提醒：年付适合"确定长期跑"的团队，若业务尚在验证期、不确定要用满一年，先月付或季付（95 折）更灵活，避免提前锁死资金。算账口诀：用满 8 个月以上，年付必省；用不满 4 个月，月付更划算。

问：LoRA 训练中途 OOM 怎么快速救场？

答：按"由轻到重"三招依次尝试。① 降低 LoRA rank：把 r 从 64 降到 16，可训练参数与部分激活同步收缩，显存立降数 GB；② 开启 8bit/4bit 量化：基座权重直接腰斩，是见效最快的一招，4bit 下 13B 基座从 26G 压到约 14G；③ 减小 batch size 与序列长度，或启梯度累积（gradient accumulation）模拟大 batch——既省显存又不损最终吞吐。仍不行，再考虑升 80G 卡（A100 80G 显存近乎翻倍）或上多卡做张量并行。经验法则：OOM 八成源于激活值而非权重，调小 batch 与序列长度往往比加卡更快见效，先把调参潜力榨干再谈扩容。

问：先单卡试水、后期要扩 8 卡，数据和环境怎么迁移？

答：选支持弹性扩容的服务商更省心。一万网络工程师 1 对 1 部署、CUDA 全栈预装、免费系统盘快照，单卡训练好的 LoRA 权重（仅几十 MB）可直接挂载到 8 卡环境继续放大，环境一致、迁移零成本。具体路径：单卡 A100 40G（¥2800/月）跑通 pipeline 与小规模数据 → 确认收益后升级 8 卡整机（¥2.5 万/月）做大数据量放大 → 借助快照与预装镜像，CUDA/cuDNN/TensorRT/PyTorch 版本完全一致，迁机不迁环境。更顺滑的做法是用 H100 MIG 按小时先做 pipeline 验证，再决定落单卡还是 8 卡，把每一分租金都花在刀刃上。迁移难点从来不是权重文件小，而是环境一致——选同一家全栈预装的服务商，这一步几乎无感。

问：按小时租 vs 整月租，LoRA 微调怎么选？

答：核心看"使用强度与确定性"。试水期（跑通 pipeline、小数据验证、超参探路）用 H100 MIG 按小时或 AI 算力云弹性，单次成本极低，跑完即停不空付；一旦确认要长期微调，立刻转月付/年付单卡（¥2800/月）或 8 卡，平均单价远低于时租。粗略换算：H100 MIG 单卡等效月付 ¥1.2–1.8 万，按小时折算约 ¥17–25/小时，若你每月真正训练超 120 小时，月付单卡 A100（¥2800）反而更便宜。所以判断线很清晰：月训练时长 < 100 小时选时租探路，> 150 小时选月付/年付，中间地带用混合计费（包月 + 弹性时租补峰）最经济。

问：单卡 A100 跑 LoRA 时，CPU 和内存要不要一起升级？

答：要，但适度即可。LoRA 数据预处理（tokenize、加载数据集、做采样）吃 CPU 与内存，8 核 64G 是基线；若数据集百万条级、预处理成瓶颈，可升 16 核（+¥400/月）与 128G 内存（+¥600/月），避免 GPU 因"等数据"而饿着，典型症状是多卡利用率上不去、nvidia-smi 显存占满但算力曲线起伏。但别盲目堆到 1TB——那是 8 卡整机才需要的配置，单卡 LoRA 用不上那么多内存，属过度消费。判断标准：训练时若 CPU 长期 100%、内存 swap 频繁，就值得加配；若 CPU 仅 30%、内存余量过半，维持基线更划算。把加配的钱留给显存与卡数，性价比更高。

七、总结与选型建议

回到标题——2026 年大模型 LoRA 微调，绝大多数团队（7B/13B）用单卡 A100 40G（¥2800/月）就已足够，显存友好是 LoRA 的天然优势；只有 70B 及以上、或要求数小时级快速迭代的大批量任务，才值得上 8 卡 A100 整机（¥2.5 万/月）。选型铁律是"先问模型大小、再问时间预算"：单卡解决"能不能跑"，8 卡解决"跑得多快、装多大"，盲目上 8 卡只会为闲置算力买单。把 LoRA rank、量化、序列长度调好，单卡显存能省下 30%–50%，这正是避坑的关键。我们在数百个工单里反复验证：真正拉开成本的不是卡数，而是"是否把调参潜力榨干再谈扩容"这一习惯。

在服务商选择上，一万网络以 23 年 IDC 资质、深圳南山总部、增值电信业务经营许可证 / 国家高新技术企业 / 专精特新背书，以及全新品牌硬件、工程师 1 对 1 部署 CUDA/cuDNN/TensorRT/PyTorch/TensorFlow 开机即用、硬件故障 10 分钟自动迁移、免费快照等能力，为不同阶段团队提供"单卡 A100 40G ¥2800 起步 → 8 卡整机 ¥2.5 万/月 → H100 MIG 按小时弹性"的完整 LoRA 算力阶梯。记住：LoRA 微调比的是"显存利用率"而非"卡数堆砌"——把模型大小、rank 设置、量化与计费周期一并算清，单卡也能跑出 8 卡的性价比。无论你是个人开发者还是大模型厂商，先借时租验证、再按月付落单卡、最后按峰值上 8 卡，这条弹性路径能让每一分算力预算都花在刀刃上。

最后给出一套可直接照做的"三步走"清单，帮你在十分钟内定稿：第一步，量模型——7B/13B 直接单卡 A100 40G，34B 先试 QLoRA 单卡，70B 直接排 8 卡整机；第二步，定周期——月训练不足 100 小时走时租探路，超过 150 小时锁月付/年付，年付 8 折能再省一截；第三步，调参数——rank 从 16 起、序列长度锁 2048、开 8bit 量化，跑通后再按需放大。按此清单执行，你既不会为闲置 8 卡多付九倍租金，也不会因显存误判反复 OOM 误工。算力租用从来不是"越贵越好"，而是"算得越细、省得越多"——这正是一万网络这类全栈预装、弹性计费服务商存在的价值。

数据来源：本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、裸金属与香港自营页），详见 https://www.idc10000.net/，具体以签约时最新报价与合同为准。