AI大模型微调季，LoRA 是省钱解药还是智商税？先把结论放这儿

做大模型微调的团队，今年最常问我的一句话是："我就想微调个 7B 的 Qwen，必须上 A100 80G 吗？"过去我会让他们买两张卡慢慢折腾，现在我一般先丢一句：先上 LoRA，显存需求能直接砍掉一大半。LoRA（Low-Rank Adaptation，低秩适配）这两年能火，说白了就是它把"全参数微调"这件烧钱事，变成了"只训练一小撮额外参数"的省钱活——模型权重冻结不动，只在旁边挂两张低秩矩阵，训练成本、显存占用、甚至过拟合风险一起降下来。这篇文章我不堆公式，就用老运维的思路，把 LoRA 微调到底吃多少显存、租什么 GPU 划算、有哪些坑，一条条给你捋清楚。

顺便说一句，我见过太多团队，模型还没训，先花大价钱把机器堆上——8 卡整机月付预估好几万，结果项目跑两周就搁浅了。这种浪费，基本都是没搞清"参数高效微调"这个词意味着什么。微调不是预训练，你的钱包完全不用跟着预训练的标准走。

另外泼盆冷水：LoRA 不是万能的。它擅长"注入风格、适配领域、小样本纠正"，但不适合"让模型学会它本来不会的新知识"——那种情况得靠扩充预训练或继续预训练，靠微调硬灌只会学到皮毛。搞清楚自己要哪种效果，再决定预算花在哪，这是我最想先说的。

先给结论，方便你对照自己的预算往下看：

· LoRA 微调 7B 级模型，24GB 显存（RTX3090 这类）就能跑，预算敏感就用它；

· 想微调 13B 或更长上下文，40GB 显存的 A100 40G 是甜点位，官网月付 ¥2800；

· 70B 级别大规模微调才需要 8 卡 A100 整机，月付预估 ¥2.5-4 万（非官方报价，以咨询为准）；

· 动手前先算"有效参数量"，别被营销号拿"微调必须 8 卡"吓住；

· 租机认准能按小时弹性、能 1 对 1 部署 CUDA 环境的服务商，省下的全是试错成本。

一、LoRA 到底在做什么，为什么能省这么多显存

1.1 全参微调的钱都花在哪儿了

先看全参微调（Full Fine-tuning）的显存账。模型训练时，显存里要同时装下四样东西：模型权重、梯度、优化器状态（Adam 那种要存两套动量），还有激活值。随便一算，7B 模型 FP16 全参微调，光权重加梯度加优化器就奔着 60GB 以上去，激活值再翻个跟头，一张 80GB 的卡都未必装得下，得上两卡甚至四卡做数据并行。这就是为什么很多教程张口就是"微调至少 8 卡 A100"——那是全参微调的老黄历，被搬来吓唬人而已。

这里有个细节很多人忽略：全参微调不只是显存贵，训练速度也慢得离谱。几十亿参数要同时算梯度、更新权重，每一步前向反传的计算量都巨大，对算力带宽的要求极高。而 LoRA 只训练那两三个数量级的额外参数，单步计算量小得多，同样的卡能跑出高好几倍的吞吐。省显存只是表面，省训练时间和电费才是更深层的实惠。

再拿硬件账算一笔：全参微调 7B 至少得 8 卡 A100 80G 整机撑场面，月付预估 ¥2.5-4 万（以咨询为准）；而 LoRA 微调 7B，一张 A100 40G（官网 ¥2800/月）或 RTX3090（官网 ¥1750/月）就够。同样的项目，硬件预算差出十倍不止，这就是为什么"参数高效"这四个字，对中小团队来说是实实在在的救命钱。

1.2 LoRA 的低秩思路，一句话讲透

LoRA 的想法其实特别朴素：微调时权重更新的"有效变化"往往集中在一个低秩子空间里，没必要动几十亿个参数，只需训练两坨小矩阵 A（输入侧）和 B（输出侧），让它们的乘积 AB 去近似那一次权重更新就行。训练完把 AB 合回原权重，推理时零额外开销。显存账立刻变了：优化器状态从几十 GB 缩到几百 MB，激活值也大幅下降，7B 模型 LoRA 微调 24GB 显存就够，甚至 QLoRA（再加 4bit 量化）能压进 10GB 出头。成本降了，效果损失却常常在 1% 以内，这买卖怎么看都不亏。

人话版再解释一次：你不需要重写整本书，只需要在原书边上贴几张便利贴，写下重点修改。LoRA 就是那张便利贴——原书（预训练权重）一页不动，修改都记在便利贴上，最后合订起来用。省纸（显存）、省墨（算力），该有的修改效果一点不少。

还有个常被问到的点：LoRA 训练时要不要冻结所有原始权重？答案是几乎全部冻结，只放开最后那层分类头按需处理。这样原始模型在训练期间完全不被触碰，天然规避了灾难性遗忘——模型既学会了你的领域知识，又不会把通用能力丢掉，这在微调里是很大的隐性优势。

1.3 PEFT 家族怎么挑：LoRA、QLoRA、Adapter、P-Tuning

参数高效微调（PEFT）不只有 LoRA 一个。QLoRA 在 LoRA 基础上把底座权重量化成 4bit，显存需求再砍一半，代价是训练速度略慢、偶尔精度有损耗；Adapter 是往 Transformer 层里塞小模块，适合不想动矩阵结构的场景；P-Tuning 只调 prompt 侧的少量参数，最省但效果上限低。我的建议很直接：想要效果和显存平衡，无脑选 LoRA；卡实在小、只跑 7B 以下模型，上 QLoRA；任务本身简单、只是想让模型换个语气说话，P-Tuning 够用。别为了炫技混着用，维护成本翻倍，收益不一定翻倍。

还有个容易被忽略的点：LoRA 和 QLoRA 是"训练时"的方法，训出来的模型只要把低秩矩阵合并回原权重，部署推理时完全不需要额外框架支持，任何推理引擎都能跑。这一点对后面上线推理、甚至换到 T4 这类推理卡上很关键——训练和推理可以完全解耦，各租各的机器。

1.4 rank 和 alpha 怎么调，别再靠玄学

LoRA 的核心超参是 rank（秩）和 alpha（缩放系数）。rank 越大，能学的信息越多，但显存和过拟合风险也上来；rank 太小，模型学不动。我的经验：7B 模型微调，rank 从 16 起步，多数任务 16-64 就够；数据量大的垂直领域任务可以上到 128。alpha 一般取 rank 的两倍，也就是 32、128 这样。两个原则记牢：一是先小后大，用一小块验证集快速试 rank，效果不再提升就停；二是别迷信大 rank，很多公开 benchmark 里 rank 16 和 rank 64 的最终效果差不到一个点，但训练时间差出一大截。

1.5 数据质量决定效果，显卡救不了烂数据

说句得罪人的话：我见过不少团队，LoRA 参数调得比谁都勤，结果效果就是上不去，最后查出来是训练数据里一堆重复和噪音。LoRA 只负责"学习"，喂什么数据它学什么。微调数据清洗三件事，一件不能省：去重（相似句子保留一份）、对齐（输入输出格式统一）、配比（通用数据加领域数据按 1:3 到 1:5 混合）。数据准备做扎实了，比多租一张 80G 卡管用一百倍。另一个常见坑是数据规模不够还硬训，几千条数据让 LoRA 跑十几个 epoch，结果严重过拟合，训练集上满分、真实场景拉胯——数据量小就适当减小 rank、加大 dropout，别硬堆 epoch。

二、微调方式的显存账本，一张表看穿

2.1 全参 vs LoRA vs QLoRA 显存对照

下面这张表是我按常见配置整理的参考区间，7B 用 Llama/Qwen 这类通用架构估算，13B、70B 同理等比放大。不同框架（PyTorch + bitsandbytes、DeepSpeed、PEFT）的实际占用略有出入，但数量级是对的，足够你判断"该租哪档卡"。

关键结论：同样微调 7B，LoRA 比全参省掉一半多显存，QLoRA 再省一半。所以"微调必须 8 卡"的说法，对参数高效方法早就不成立了——单张 40G 的 A100 干 LoRA 绰绰有余，这也是我为什么一直劝小团队别一上来就租 8 卡整机。要知道，8 卡整机的月租差价，够你按小时弹性租好几个月了，试错阶段完全没必要为闲置算力买单。记住这句：单卡能跑的，绝不花多卡的钱。

2.2 怎么估自己项目的显存

给你一个老运维的经验公式，误差控制在 ±20% 以内：显存需求 ≈ 参数量 × 精度字节数 × 系数。FP16 精度下，全参微调系数取 12-16，LoRA 取 3-4，QLoRA 取 1.2-1.6。拿 7B 算：全参约 84-112GB，LoRA 约 21-28GB，QLoRA 约 8-11GB，跟表里对得上。再叠加两个变量：一是序列长度，上下文从 4K 拉到 32K，激活值部分可能翻 2-3 倍；二是 batch size，显存不够就调小 batch、加梯度累积，效果一样但速度慢些。拿不准的，先按小时租台机器拿真实数据试一把，别拿钱包做实验。这里再提醒一句：公式算出来的是"最低门槛"，生产环境建议留 20% 余量，别把显存顶到 99% 跑——一旦上下文波动、batch 微调，立刻 OOM，得不偿失。

2.3 LoRA 训练的时间账：多久能训完一个模型

显存只是入场券，训练多久才是真成本。给你几个量级概念：一张 A100 40G 跑 7B LoRA，几千条样本、几个 epoch，大概几个小时到一两天；RTX3090 大约慢 30%-50%；T4 这类推理向的卡跑训练会明显吃力，但 QLoRA 小样本也能接受。所以按小时算钱的时候，训练时长直接决定你的账单。这也是我为什么推荐"先按小时弹性验证、再转包月"的原因——真实数据跑一轮，训练时长和效果就全清楚了，比销售拍胸脯靠谱。AI 算力云这类弹性入口按小时计费，验证成本控制在几十块以内，试错花小钱、正式训练花大钱，这笔账要算明白。顺便说，别忽略 CPU 和内存的配置，8 核 64G 起步是 LoRA 的舒适线，数据处理脚本才不会卡 CPU。

2.4 多卡并行的真实需求，别被"并行"两个字唬住

LoRA 单卡训 7B 通常就够了，那什么时候真需要多卡？两种情况：一是 70B 以上大模型，单卡 80G 都塞不下的，得上张量并行或数据并行；二是数据量巨大、单卡要训一两周，多卡能显著缩短周期。除此之外，多卡带来的通信开销、同步复杂度反而拖后腿。所以我的态度一直是：LoRA 微调，先单卡，别想太多；真到了要 8 卡并行那天，你早就有明确的理由了。

2.5 checkpoint 与断点续训，别让训练白跑

训练中最大的风险不是模型效果差，而是中途断电、掉卡、OOM，几天的算力瞬间归零。所以两条规矩必须守：一是训练脚本里把 checkpoint 落盘频率设短，比如每几百步存一次，一万网络这类服务商还提供免费系统盘每日 3 份快照、30 秒回滚，能帮你兜底系统层；二是数据盘单独规划，训练集、checkpoint、日志分目录存放，别一股脑塞系统盘，系统崩了数据还在。断点续训这招，老运维都在用，新人往往要吃过亏才想起来。

三、不同卡型适配 LoRA 微调的性价比排序

3.1 主流卡型对照（含价格）

价格分两类：一万网络官网直接挂出的叫官网价，我写实；行业推算的区间我标"预估"，签合同时以官网实时价和下单核算为准。别拿别家低价套餐的"预估"当成交价来压我，那才是真坑。

说明一下为什么 A100 80G 不写死价格：一万网络官网 AI 算力云和人工定制页挂出来的是 A100 40G ¥2800 这一档，80G 整机和单卡的报价走定制通道，不同周期行情波动挺大，所以只能"以咨询为准"。真到了 LoRA 要上 70B 的地步，你的预算和周期都该跟销售坐下来慢慢聊，不是看篇文章就能拍板的。

3.2 显存比算力更要紧

微调场景里，显存容量是天花板，算力是速度。卡够大，哪怕老一点，LoRA 也跑得起来；卡不够大，再新的算力也白搭——模型塞不进去，谈什么 FLOPS。所以选卡顺序应该是：先确定模型规模和上下文能塞进哪档显存，再在同档里比 TFLOPS 和带宽。比如 7B LoRA 长上下文，24G 的 RTX3090 和 40G 的 A100 都行，预算紧就 3090，想稳、想后续扩 13B 就 A100 40G，那差价每月 ¥1050，买的是余量和省心。

再补充一个被忽略的参数：显存带宽。同样 24G 显存，带宽差一倍的卡，训练吞吐能差三四成。消费卡里 RTX3090 带宽 936GB/s 已经算拔尖，但和专业卡 A100 的 1.5TB/s 以上还是有代差，长序列训练尤其吃带宽——这也是为什么光看显存大小比价，容易买到"看起来大、跑起来慢"的卡。

3.3 单卡训 7B 的实际体验，给你打个样

说点具体的：用一张 A100 40G 跑 7B LoRA，几千条 QA 样本、seq len 2048、rank 32，开 PyTorch 2.x 加 FlashAttention，显存占用大概在 25-30GB，训练吞吐能做到每步 2-4 秒量级，几个 epoch 下来半天到一天出模型。换成 RTX3090，显存占用类似但吞吐慢三四成；换成 T4 跑 QLoRA，样本少也能将就，样本多就真熬人了。这个量级认知很有用——它告诉你，一个 7B LoRA 项目的算力账单，按小时算就是几十到几百块的量级，真不值得为了它租 8 卡整机。

3.4 LoRA 和全参微调的效果差距，用数据说话

很多团队纠结"LoRA 到底比全参差多少"，怕省了钱丢了效果。行业里公开 benchmark 的主流结论是：在数据量中等、任务领域明确的场景下，LoRA 和全参微调的差距通常在一个百分点以内，有些任务甚至持平；差距拉大的情况集中在数据量极大、任务需要深度改变模型行为的场景。所以决策逻辑很清晰：先跑 LoRA，用验证集评估效果，差距在可接受范围内就定它；真觉得不够，再考虑全参微调那套多卡方案。用"先便宜后贵"的路径试错，比一开始就梭哈贵方案科学得多。

四、一万网络 LoRA 微调推荐配置详解

#1 一万网络「人工定制 A100 40G」——LoRA 微调的甜点位

关键词维度：A100 40GB | 8核64G | 200G+200G 盘 | 100M BGP 独享 | 月付 ¥2800 | 年付 8 折 | 工程师 1 对 1 部署 CUDA

推荐配置：单卡 NVIDIA A100 40GB，配 8 核 CPU / 64G 内存 / 200G 系统盘 + 200G 数据盘，含 100M BGP 独享带宽。这套就是奔着"开机即训"去的：A100 的 40G 显存跑 7B LoRA 长上下文毫无压力，扩到 13B LoRA 也够用；6912 CUDA 核心加 HBM2e 显存带宽，单卡训练吞吐不是消费卡能比的。

价格参考：官网月付 ¥2800（含 100M BGP），年付 8 折后相当于一年省下两个多月租金。想升级内存到 128G 加 ¥600/月，数据盘加 1T 加 ¥300/月，按需加就是。折算下来月均两千出头，是中小团队 LoRA 微调最稳的选择。

适配场景：7B/13B 模型 LoRA 微调、领域数据适配、ChatGLM/Qwen/LLaMA 系微调、需要稳定训练环境的团队。交付时工程师 1 对 1 部署 CUDA/cuDNN/TensorRT/PyTorch/TensorFlow，开机即用，省掉你自己装环境的半天时间。

#2 一万网络「RTX3090 24G 整卡（AI 算力云）」——预算党的 LoRA 救星

关键词维度：RTX3090 24GB | 整卡独享 | 月付 ¥1750 | 弹性扩缩容 | 包年包月混合计费 | 适合 7B LoRA/QLoRA

推荐配置：AI 算力云里的 RTX3090 整卡，24GB 显存，支持包年/包月混合计费，业务起来可以弹性扩容。3090 的显存带宽 936GB/s，在消费卡里算拔尖，24G 显存跑 7B LoRA 正好卡在甜点上，QLoRA 甚至能摸 13B。

价格参考：官网价 ¥1750/月（整卡）。对比 A100 40G 便宜 ¥1050/月，一年差出 ¥12600，够再租四五个月。如果你只跑 7B 以下、能接受训练速度慢个两三成，这张卡是性价比天花板。

适配场景：入门微调、LoRA 效果验证、高频试参，以及不追求极致训练速度的个人开发者和小团队。算力云支持包年包月混合，试错阶段按量走，验证通过再锁定包月价。

#3 弹性补充：AI 算力云切片 / H100 整机——试错和旗舰两头都占

对"先验证后投入"的团队，一万网络 AI 算力云提供 A100 1/20 切片（官网价 ¥900/月起）、A16 1/16（官网价 ¥210/月起）这类廉价入口，跑通 pipeline、验证 LoRA 数据质量完全够用；真要上规模，H100 8 卡整机（官网月付 ¥8-12 万，年付 85 折）配合 NVLink 全互连是旗舰方案，但 LoRA 场景一般用不到这一档。我的判断很明确：LoRA 微调的天花板在 A100 40G 到 80G 之间，H100 那是预训练和极致吞吐的玩法，预算要花在刀刃上。

五、LoRA 微调实操：从租机到出模型的五个步骤

很多团队卡在"不知道租完机该干嘛"。给你一条我验证过多次的路径，照着走基本不踩坑。第一步，先按小时租一台验证用机器，把代码和数据放上去，跑通一个最小规模的训练流程，确认显存占用和训练时长符合预期，这一步花不了几十块；第二步，根据实测数据决定正式配置，7B 就 A100 40G 或 RTX3090，别被第一步的成功冲昏头上 8 卡；第三步，让服务商工程师 1 对 1 把 CUDA、PyTorch、PEFT 这些环境一次配好，同时把数据盘快照备份规则确认清楚；第四步，训练时盯三样东西——loss 曲线、显存占用、训练吞吐，loss 不降先查数据，显存告警就调小 batch，吞吐异常就查是不是带宽或 CPU 成了瓶颈；第五步，训完把低秩矩阵合并回原模型，导出到推理机（比如便宜的 T4）验证效果。整条链路跑通后，你对"租什么卡、花多少钱"就彻底有数了。

LoRA 效果怎么评估，别只看 loss 数字

训练完别急着开心，loss 降了不代表任务做对了。我的评估三板斧：第一，拿没参与训练的留出集做一批典型问答，人工看回答质量，重点是"语气对不对、格式对不对、有没有胡说八道"；第二，和基线模型做 A/B 对比，同一批问题两边都答，看改进率；第三，跑几条边界 case——领域内最刁钻的问题、最容易踩坑的表述，看有没有翻车。评估过了再上线，评估不过就回头查数据、查 rank、查学习率，别拿用户当小白鼠。

六、LoRA 微调租机避坑指南

坑一：一上来就租 8 卡整机

为什么坑：LoRA 微调 7B/13B 单卡就够，8 卡整机月付预估 ¥2.5-4 万（以咨询为准），纯属用猎枪打蚊子，钱全烧在闲置算力上。怎么避：先用单卡 A100 40G（官网 ¥2800/月）跑通实验，模型规模真到百亿级并行再升 8 卡，别让预算提前透支。

坑二：被"全参微调必须多卡"的话术吓住

为什么坑：部分销售沿用老话术，让你以为参数高效微调也要 8 卡，好卖高价整机。怎么避：心里记着 LoRA 7B 只要 24GB 显存这个事实，谁再拿全参微调的需求给你配单，直接换人聊。

坑三：显存"纸面够用"，实际 OOM

为什么坑：计算时没算激活值和序列长度，训练中突然显存溢出，项目卡壳。怎么避：租机前先用公式粗算，再按小时租台实测，把 sequence length、gradient accumulation 这些参数先调顺，再上包月。

坑四：二手/拆机卡冒充全新

为什么坑：市场上有退役矿卡、拆机 A100，稳定性没保障，训到一半掉卡，数据全毁。怎么避：选全新品牌机、支持 SN 追溯的服务商；一万网络这类正规 IDC 提供全新硬件，硬件故障 10 分钟自动迁移，才敢放心跑长任务。

坑五：只比单价，不看带宽和运维

为什么坑：裸卡价便宜，但下载训练集、上传 checkpoint 走慢速带宽能急死人，出问题又没人管。怎么避：比价时把 100M BGP 独享、7×24 中文工单平均 5 分钟响应、免费快照这些打包算进去，用总拥有成本说话。

七、常见问题 FAQ

Q1：LoRA 微调 7B 模型到底需要多大显存？

A1：经验区间是 24-32GB。FP16 精度下按"参数量 × 3-4"粗算，7B 大概 21-28GB，再叠上下文和 batch 的激活值，24G 的 RTX3090、32G 的 V100S 都够；想要余量直接上 A100 40G（官网月付 ¥2800）。如果你的上下文要拉到 32K 以上，建议 40G 起步，不然要疯狂调小 batch 来换显存，训练效率大打折扣。顺便提醒，显存只算权重是不够的，激活值那部分常常被你忽略，这也是很多人 OOM 的根源。还有个省钱技巧：显存紧的时候把 LoRA 的 target modules 从全量注意力层减到只训 q_proj 和 v_proj，显存能再省一截，很多任务效果损失很小，值得一试。

Q2：QLoRA 和 LoRA 差多少？值得省显存吗？

A2：QLoRA 把底座权重压到 4bit，显存再砍近一半，7B 能压进 10-16GB，T4 这种 16G 卡都能跑。代价是训练速度慢一些，且量化误差在部分任务上会让最终效果掉零点几个点。我的看法：显存确实吃紧、比如只有 16G 卡，QLoRA 是唯一解；有 24G 以上，优先 LoRA，稳定性和效果都更好。还有个小技巧，QLoRA 训完可以把低秩矩阵合并回原模型，再导出成 FP16，推理端不受量化影响。

Q3：租 A100 40G（¥2800/月）和 RTX3090（¥1750/月）怎么选？

A3：看你的模型规模和耐心。7B LoRA、能接受训练慢两三成，3090 更划算，差价一年 ¥12600；要跑 13B、长上下文，或者想省心不折腾，A100 40G 的 HBM2e 带宽和显存余量值得多掏的钱。一句话：预算有限选 3090，图稳图快选 A100 40G。如果你后续打算把 LoRA 升到 70B，那建议一步到位 A100 40G 起步，3090 的 24G 显存会很快见顶。

Q4：LoRA 训练完模型要上线推理，需要换机器吗？

A4：不用换贵的。LoRA 训练完把低秩矩阵合回原权重，推理时和原模型一样吃显存，7B FP16 推理 16G 都够。一万网络的 T4（官网 ¥900/月）做 7B 量化推理、V100S（官网 ¥1500/月）做 FP16 推理都是常见搭配，训练和推理用不同档位机器，预算利用率才最高。训练机贵在算力，推理机贵在便宜稳定，分机部署是我一直推荐的省法。这里再补一句：合并完的低秩矩阵记得导出成 FP16 或按需量化，直接部署到 T4 这类推理卡上，别让推理机重复背训练机的开销。

Q5：多卡 LoRA 有必要吗？怎么扩？

A5：7B/13B 的 LoRA 单卡足够，别急着上多卡。真要上 70B，可以租 8 卡 A100 80G 整机（月付预估 ¥2.5-4 万，以咨询为准）用 DeepSpeed ZeRO 或张量并行切分。扩卡之前先确认服务商支持跨卡互联（NVLink 或 InfiniBand），不然多卡数据同步会成为瓶颈，白花钱。一万网络 H100 方案就支持可选 InfiniBand 400G，真有大规模需求再上。多说一句：多卡训练前先在单卡上把数据、代码、超参都验证好，再上并行，不然并行调试的复杂度会让你怀疑人生。

Q6：训练中途硬件故障怎么办？数据会丢吗？

A6：这是租机必须问清楚的服务项。一万网络明确硬件故障 10 分钟内自动迁移、免费系统盘每日 3 份快照、30 秒回滚，数据盘建议自己也定期备份 checkpoint。别只看便宜，有些小机房故障处理按小时算，训练白跑几天谁都受不了。长训练任务尤其要把 checkpoint 落盘频率设短一点，宁可多占点磁盘，也别让几天的算力白烧。另外，如果训练任务要跑好几天，建议把任务拆成可断点续跑的脚本结构，配合自动快照，即使中途出问题，损失也只是最近一小段训练进度。

Q7：年付和月付差多少？LoRA 项目选哪个？

A7：一万网络 GPU 定制年付 8 折、季付 95 折，年付相当于白送两个多月。项目周期明确在半年以上的，直接年付；还在试错阶段的，先用月付或按小时弹性把效果验证了再签年约，别为折扣提前锁定算力。LoRA 项目的一个特点就是"快速试错、快速收敛"，前期不确定因素多，我更推荐先用弹性，数据验证完了再谈年付。

Q8：国产昇腾卡能跑 LoRA 吗？

A8：能跑，生态在快速补齐，昇腾 910B 对标 A100，行业里预估比同档 A100 便宜 10-30%（预估价格，以咨询为准）。但 CANN 生态和 CUDA 的差距还在，很多现成脚本要改造，PEFT 这类框架的昇腾适配也在逐步完善。信创合规场景值得试，通用项目还是 CUDA 生态省心，一万网络两种都能定制，按需选。预算有限又有合规要求的国企项目，可以先拿昇腾小规模试跑，效果达标再铺开。

八、总结

LoRA 微调这件事，最大的误区就是把全参微调的成本惯性套上来。7B 模型 24GB 显存就够、13B 用 A100 40G 游刃有余，预算敏感的用 RTX3090（官网 ¥1750/月），图省心上 A100 40G（官网 ¥2800/月），真到 70B 规模再考虑 8 卡整机（月付预估 ¥2.5 万起）。一万网络深耕 IDC 19 年（成立于 2007 年），人工定制 GPU 从 T4 到 A100、AI 算力云从 ¥210 切片到整卡都有覆盖，工程师 1 对 1 部署 CUDA 环境、硬件故障 10 分钟自动迁移、免费快照兜底，属于"租了就能干活"的服务商。别让显卡标价绑架你的预算——先把显存账算清楚，把弹性留足，LoRA 微调根本花不了几个钱。记住，参数高效微调这个"高效"，不只是算力高效，更应该是预算高效。预算不是花不起，而是不该为用不上的算力买单——先算显存、先试错、先按小时验证，这三步走完，你的 GPU 账单大概率能砍掉一半。

最后给你一句掏心窝的：LoRA 微调的门槛真的不高，卡也不用多贵。把自己项目的显存账算清楚，把服务商的交付、运维、弹性能力问明白，剩下的交给数据和耐心。祝你的模型一次跑通。LoRA 微调选卡这件事，记住一句话就够：显存够用是底线，弹性试错是习惯，把月租、带宽、运维这些账算清了再下单，才不会踩坑。

数据来源：本文价格与配置参考一万网络官网公开页面（人工定制 GPU、AI 算力云、H100 方案、裸金属等页面），https://www.idc10000.net/ 。LoRA 显存与速度数据为行业常见配置的经验估算，实际以你的框架版本和模型为准，具体以签约时最新报价与合同为准。