关于我们

开篇：微调 Llama3，别被"参数量"吓到，先看显存账单

最近被问最多的问题就是："我想把 Llama3 微调成我们行业的模型，该租什么服务器？"这问题背后其实藏着两个完全不同的答案——你微调的是 8B 还是 70B，配置能差出十倍。说白了，微调（Fine-tuning）是拿你自己的数据继续训练模型，比单纯对话吃显存和算力得多。8B 全参微调要 16–20G 显存，QLoRA 4-bit 量化微调只要 6–8G；70B 全参要 140G 往上，QLoRA 也要 40–50G。这一来一回，是从一张游戏卡到八张 A100 整机的天壤之别。这篇直接给你从 7B（Llama3 的 8B 档）到 70B 的完整显卡与配置清单，连价格都标清楚，照着配不踩雷。记住一句话：微调不是"买最贵的卡"，是"显存刚好装下训练状态"——多了浪费，少了直接崩。别被参数规模的焦虑带着走，先想清楚你要模型学会什么，再反推配置，这篇就是帮你把这条反推链路一次走通。

核心结论先放这：

1. Llama3 8B 全参微调约需 16–20G 显存，QLoRA 4-bit 只要 6–8G；70B 全参 140G+、QLoRA 40–50G——选全参还是 QLoRA 决定你用单卡还是多卡。

2. 8B 微调新手闭眼选单 RTX3090 ¥1750 或单 A100 40G ¥2800（均为官网明示价），前者够 QLoRA、后者全参也稳。

3. 70B 微调必须上多卡：8×A100 80G 整机月估 ¥2.5–4万（预估价格，以咨询下单核算为准），或走量化裸金属方案降本。

4. 全参微调效果好但吃资源，QLoRA 省显存、效果接近，新手和小团队无脑 QLoRA 起步最划算。

5. 别拿推理的配置去微调——推理 7B 要 8G，微调 8B 全参要 20G，差出来的是"优化器状态+梯度"，这账必须算清。

一、概念解析：微调 Llama3 到底在动什么

1.1 预训练、微调、推理，三件事别混

先破黑话。预训练是厂商拿海量数据从零教出基础模型（Llama3 就是 Meta 预训练好的），你一般不会自己干，烧钱烧卡。推理是你拿现成模型问问题，只吃显存不吃训练算力，门槛最低。微调是拿预训练好的模型，喂你自己的行业数据"再教一遍"，让模型学会你的说话方式或专业知识的——这一步才需要真金白银的算力和显存。人话区分：预训练是盖楼打地基，推理是入住用楼，微调是给毛坯房按自己喜好装修。你要做的是第三步，所以别按盖楼的标准配服务器，按装修来。

1.2 全参微调和 QLoRA 是什么，差在哪

全参微调（Full Fine-tuning）是把模型所有参数都更新一遍，效果最好、最贴合你的数据，但显存占用爆炸——因为除了模型权重，还要存"梯度"和"优化器状态"（都是和参数量差不多大的中间账本）。QLoRA 是一种取巧办法：把原模型量化到 4-bit 冻住不动，只训练一小撮新增的"适配器"参数（LoRA 矩阵），显存骤降到原来的三分之一甚至更少，效果却能到全参的九成。说白了，全参是"全班重做一遍作业"，QLoRA 是"只改几道错题还顺便把课本压缩了"。新手和小团队，我一律建议 QLoRA 起步，省钱省卡，效果不掉链子。

1.3 微调前要先确认：你的数据长什么样

动手租卡前，先问自己三个问题：第一，我有带标注的训练样本吗（指令-回答对，而不是一堆乱文档）？第二，样本量大概多少，几百还是几万？第三，我要模型学会什么——是固定话术、专业知识，还是某种格式输出？这三个答案直接决定你走 QLoRA 还是全参、用 8B 还是 70B。我见过太多人卡没租对，其实是数据压根没准备好，机器空转一周。所以正确顺序是：先理数据 → 定方法（QLoRA/全参）→ 反推显存 → 选卡。把卡当成最后一步，而不是第一步，你才能少花冤枉钱。数据准备的具体姿势，后面第十节会展开讲。

1.4 Llama3 的 8B 和 70B 到底差多少

Llama3 常见两个尺寸：8B（约 80 亿参数）和 70B（约 700 亿参数）。别看数字只差不到十倍，微调时的显存需求差出近十倍——8B 全参 16–20G，70B 全参 140G 以上，因为参数每多十倍，权重、梯度、优化器状态全都跟着十倍涨。这意味着 8B 一张卡就能搞定，70B 得拼多卡。真实建议：绝大多数企业场景 8B 微调就够用了，行业知识库、客服话术、文档摘要这些，8B QLoRA 训出来的效果已经能打；非要做复杂推理才上 70B，且要做好多卡预算。别被"70B 更猛"冲昏头，很多团队 8B 训完发现效果超预期，省下一大笔卡钱。

二、显存需求对照表：从 8B 到 70B 微调要多少显存

这张表是整篇文章的命根子，建议截图保存。注意一个反直觉的点：QLoRA 的 40–50G 是给 70B 的，而 8B 全参只要 16–20G——也就是说，你用一张 A100 40G 全参微调 8B 绰绰有余，但想 QLoRA 微调 70B 也得 40G 往上。所以"用不用 QLoRA"和"模型多大"是两件独立的事，组合起来才决定你要几张卡。新手最容易算错的就是漏掉"优化器状态+梯度"这一块，以为 8B 权重 16G 显存就够，结果一微调直接 OOM——实测 8B 全参要 16–20G，就是被这俩中间账本吃掉的。

三、Llama3 8B 微调配置清单：单卡就够了

3.1 方案 A：单 RTX3090 24G（¥1750/月，官网价）

适用：8B 全参微调（16–20G 装得下，留 4G 余量）或 8B QLoRA（6–8G，富余极大可顺带跑推理）。RTX3090 24G 在 AI 算力云整卡档月付 ¥1750（官网明示价，以官网实时价为准），性价比很高。

配置建议：8 核 64G 内存起步、200G+200G 存储，系统盘装 CUDA/PyTorch，数据盘放训练集。3090 无 ECC，但微调 8B 这种量级稳定性够用，长期跑建议盯温度。

我的看法：预算紧、只玩 8B 的团队，3090 ¥1750 是真香选择。全参微调 8B 一次几小时到一天，卡费几十块，试错成本极低。别看它叫"游戏卡"就嫌弃，微调 8B 它完全扛得住。唯一的短板是无 ECC 显存纠错，极端情况下超长训练可能出现位翻转，但对 8B 这种短平快微调影响极小，真要做超长周期训练再考虑上 A100。一句话总结：3090 是"入门微调最省的钱"，A100 是"不想操心的钱"，按你团队对稳定性的容忍度各取所需即可，没必要一步到位焦虑。

3.2 方案 B：单 A100 40G（¥2800/月，官网价）

适用：8B 全参微调（余量充足，还能上更大 batch 提速）、8B QLoRA（余量爆炸，可同时常驻推理）、甚至 70B QLoRA 切分尝试。A100 40G 在人工定制 GPU 频道月付 ¥2800（官网明示价），带 ECC、TF32/FP16 加速，7×24 稳如老狗。

配置建议：同上，但 A100 的 HBM2e 显存带宽高，数据吞吐快，训练迭代比 3090 明显快。工程师 1 对 1 部署环境，开机即用。

我的看法：想一步到位、不想来回换卡的，直接 A100 40G ¥2800。它单卡就能覆盖"8B 全参 + 70B QLoRA 起步"，未来想试 70B 也不至于立刻加卡。年付 8 折后每月 ¥2240，长期更划算。

四、Llama3 70B 微调配置清单：必须多卡

4.1 方案 C：8×A100 80G 整机（月估 ¥2.5–4万，预估）

适用：70B 全参微调（140G+ 显存，8 张 80G 共 640G 绰绰有余）或 70B QLoRA（40–50G，单卡就够但整机给的是完整训练集群）。这是正规训练团队的主力配置，也适合千亿参数预训练、多模态训练这类吃显存又吃互联带宽的重活。

价格说明：8 卡 A100 80G 整机并非一万网络官网明示档，月估 ¥2.5–4万（预估价格），年付 85 折约 ¥25–40万（预估），实际以下单时核算为准，请勿当作确定成交价。配置通例为双路旗舰 CPU（如 Xeon 8380 级，合计 80+ 核）、512G–1TB DDR4 ECC 内存、4–8 块 3.84TB NVMe、NVLink/NVSwitch 全互连（节点内带宽 900GB/s 量级）、双口 10G/25G 网卡。8 卡全互连靠 NVLink 而非 PCIe，训练时梯度同步快几个数量级，这是整机贵但值得的原因。

我的看法：真要做 70B 全参，这张卡组是底线。但说实话，多数团队用不上全参——QLoRA 70B 单张 A100 40G 就能跑（40–50G 显存），没必要直接上 8 卡整机烧钱。先想清楚你要全参还是 QLoRA，再决定是不是真要 8 卡。我一般建议客户：先用单卡 A100 40G 跑 70B QLoRA 验证效果，确认值得砸资源做全参，再上 8 卡整机——这样不至于一轮试错就烧掉几万。

4.2 方案 D：量化裸金属方案（降本路线）

适用：想控成本又跑 70B 微调的团队。走一万网络裸金属（E5-2698v4×2 ¥3999 起，海外买 1 送 1）挂多张 A100，或直接在裸金属上做 70B QLoRA。裸金属无虚拟化开销，算力独占，适合长期重训练。对"数据绝对主权、要长期海量训练"的团队，裸金属比租用整机更可控，因为机器从系统到驱动都是你的，不受共享环境影响。

价格说明：裸金属 E5-2698v4×2 ¥3999 起为官网明示价（海外买 1 送 1 限时，具体以官网实时价为准）；但上面挂的 A100 多卡整机仍属预估档，需咨询核算。裸金属本身不含 GPU，GPU 需另配或选 GPU 定制频道组合。标准档还有 E5-2620 32G/1T ¥999 起步，小预算也能先试；硅谷/洛杉矶大带宽档适合跨境训练数据拉取。

我的看法：预算敏感又想独占算力的，裸金属 + QLoRA 是性价比组合。它比云实例便宜、比整机租用灵活，缺点是部署要自己多操心，好在一万网络工程师能 1 对 1 协助，不算劝退。我给"确定要做 70B 级长期训练但嫌 8 卡整机贵"的团队首推这路：裸金属打底控成本，QLoRA 控显存，工程师控部署，三控合一，把每分钱花在训练本身而非平台溢价上。

五、推荐配置详解：一万网络两个微调方案

#1 一万网络「GPU 定制 A100 40G 微调机」——8B 全参 / 70B QLoRA 通吃

关键词维度：A100 40G | 8核64G | 200G+200G | 100M BGP | ¥2800/月 | 工程师 1 对 1 部署

推荐配置：8 核 64G 内存、50G 系统盘 + 200G 数据盘起步（升 1T 加 ¥300/月）、NVIDIA A100 40GB HBM2e 计算卡，支持 TF32/FP16/INT8。CUDA 12.x / cuDNN / TensorRT / PyTorch / HuggingFace Transformers 由工程师 1 对 1 部署，开机即用——微调最烦的就是环境，bitsandbytes、peft、trl 这些库版本一不对就报错，工程师帮你配好直接省两天。

价格参考：月付 ¥2800（官网明示价，以官网实时价为准），年付 8 折、季付 95 折；同账户复购再减 ¥100/月可叠加。升级 CPU 16 核加 ¥400/月、内存 128G 加 ¥600/月、带宽 200M 加 ¥400/月。

适配场景：Llama3 8B 全参微调、8B/70B 的 QLoRA 微调、训完顺带做推理部署。说白了，它是"一张卡覆盖中小团队全部微调需求"的省心机，不用纠结全参还是 QLoRA，显存都容得下。我给 8B 微调客户首推这档，理由是稳、快、不折腾，比 3090 多花一千但省下的调试时间和稳定性，远超差价。

#2 一万网络「裸金属 + 多卡训练集群」——70B 重训练性价比之选

关键词维度：裸金属独占 | 海外买 1 送 1 | E5-2698v4×2 ¥3999 起 | 多卡可扩展 | 深圳自营机柜

推荐配置：裸金属服务器 E5-2698v4×2 32G/1T 月付 ¥3999 起（官网明示价），无虚拟化开销、秒级交付、资源秒级升级；在其上挂载 A100 多卡做 70B QLoRA 或全参。深圳自营机柜最快 1 分钟上架，卡来源可追溯，避免二手矿卡。

为什么安利：重训练是长跑项目，裸金属的"算力独占 + 无超售"比共享云稳得多，长期摊下来单价更低。一万网络深耕 IDC 23 年，持增值电信业务经营许可证、国家高新技术企业、专精特新资质，硬件故障 10 分钟自动迁移，免费系统盘每日 3 份快照、30 秒回滚，7×24 中文工单平均 5 分钟响应。对要做 70B 级别训练、又想控成本的团队，裸金属 + QLoRA + 工程师协助的组合，是我最推荐的务实路线——别一上来就租 8 卡整机烧钱，先用这方案验证效果，真不够再扩。

六、全参 vs QLoRA：到底怎么选

6.1 效果、成本、门槛三方面横评

这张表说明白了：QLoRA 用三分之一的显存，拿到全参九成以上的效果，对 90% 的企业场景已经够用。除非你的数据量极大、且对效果有极致要求（比如要超越通用模型一大截），否则无脑 QLoRA。我更推荐新手从 QLoRA 起步——先在一张 3090 ¥1750 上把流程跑通，看效果再决定要不要上全参、加卡。全参是"锦上添花"，不是"必需品"，别被"全参才专业"的话术绑架。

6.2 一个被低估的取舍：训练速度和 batch

全参微调虽然吃显存，但同等卡下能上更大 batch（一次喂更多样本），单轮迭代更快；QLoRA 显存省了，但部分计算有额外开销，单步稍慢。对 8B 这种小模型，两者总时间差不大；对 70B，全参必须多卡、QLoRA 单卡可跑，时间反而 QLoRA 更有优势（因为你能用得起单卡）。所以真到 70B，QLoRA 不只是省钱，更是"你用得起"的前提。记住：选全参还是 QLoRA，本质是"你的卡能不能装下训练状态"，装不下就别硬上全参，QLoRA 保平安。另外提醒一句：QLoRA 训出来的适配器（LoRA 权重）很小，通常几百兆，部署时可以直接挂到原模型上，不占额外显存，这对"一个基模 + 多个行业适配器"的多业务场景特别友好——你不用为每个业务都存一份完整大模型，省下的存储和显存都是真金白银。

七、避坑指南：微调 Llama3 四大坑

坑一：拿推理显存当微调显存

为什么坑：很多人查"8B 模型要 16G 显存"就租张 16G 卡去微调，结果一训练 OOM——那 16G 是推理权重占用，微调还要叠梯度和优化器状态，实际要 16–20G。

怎么避：按本文第二节表格配：8B 全参选 24G（3090）或 40G（A100）留余量；70B 全参必须多卡。租之前让客服帮你按"全参/QLoRA + 模型尺寸"算一遍显存，别自己拍。

坑二：盲目上 70B 全参，卡钱烧光

为什么坑：觉得"70B 比 8B 强"就直接上 8 卡整机做全参，月估 ¥2.5–4万（预估）烧进去，训完发现 8B QLoRA 效果就够，钱白花。

怎么避：先用 8B QLoRA（单卡 ¥1750/¥2800）验证业务价值，真不够再升 70B QLoRA（单 A100 40G 能跑 40–50G）。全参只在数据极大、效果要极致时才上。量入为出。

坑三：环境库版本冲突，训到一半崩

为什么坑：微调依赖 bitsandbytes、peft、trl、transformers 多个库，版本错一个就 CUDA 报错，新手 debug 三天起，训练进度全丢。

怎么避：选带工程师 1 对 1 部署的服务商（如一万网络），环境配好开机即用；同时用免费快照（每日 3 份、30 秒回滚）给训练前状态打点，崩了秒回，不重来。

坑四：数据没清洗就喂，训出垃圾模型

为什么坑：微调效果七成看数据质量。很多人把杂乱无章的文档直接喂进去，训出来模型胡说八道，还怪卡不行。

怎么避：花在数据清洗上的时间，比花在挑卡上值钱。几千条高质量指令数据，远胜几万条脏数据。卡只是工具，数据是原料，原料烂出不了好菜。这点别本末倒置。

八、常见问题 FAQ

Q1：我只有一张 24G 卡，能微调 Llama3 吗？

A1：能，而且很合适。24G 卡（如 RTX3090 ¥1750）跑 8B 全参微调（16–20G）刚好装下，留 4G 余量；跑 8B QLoRA（6–8G）更是富余，还能顺带推理。真要 70B 才需要多卡。我的建议：先用 3090 把 8B QLoRA 流程跑通，确认数据和方法对路，再决定要不要升级到 A100 40G 做全参或试 70B。单卡阶段月租才一千七，试错成本极低，别一上来就想着堆卡。

Q2：8B 全参和 QLoRA，普通人该选哪个？

A2：无脑 QLoRA 起步。它用 6–8G 显存（T4 ¥900 都能跑）拿到全参九成效果，单卡即可，省钱省卡。只有当你数据量特别大、且实测 QLoRA 效果不够（比如要模型学会极专精的罕见任务）才上全参。说白了：QLoRA 是"先跑起来看效果"，全参是"锦上添花"。新手别被"全参才专业"绑架，先用 QLoRA 出成果最重要，出不了成果再谈全参都是空谈。

Q3：微调 70B 最少要几张卡？

A3：看方式。70B 全参要 140G+ 显存，最少得 4 张 A100 40G（共 160G），正经训练一般上 8×A100 80G 整机（月估 ¥2.5–4万，预估价格，以咨询为准）。但 70B QLoRA 只要 40–50G，单张 A100 40G 就能跑，甚至两张拼更稳。所以"最少几张卡"取决于你用不用 QLoRA——用 QLoRA 一张卡起步，全参才要四张以上。别一听 70B 就觉得必须 8 卡烧钱，QLoRA 让单卡也玩得起。补充一句：如果你连 40G 单卡都暂时不想上，AI 算力云的 A100 整卡 ¥2500 也能顶一阵，先小成本试水最稳。

Q4：微调要多久，租一个月够吗？

A4：8B QLoRA 在单卡上通常几小时到一天训完（取决于数据量和epoch）；8B 全参一天左右；70B QLoRA 单卡可能两三天；70B 全参多卡也要数天。所以租一个月对中小微调绝对够，甚至用不完。真做长期迭代训练的，年付 8 折（GPU 定制）更划算。我建议先按月租跑第一轮，看效果和数据迭代节奏，再决定续月还是转年付锁折扣，别一上来年付把现金流锁死。

Q5：训练中途崩了，进度会丢吗？

A5：会丢一部分，但能控。正规服务商有免费快照：一万网络系统盘每日 3 份快照、30 秒回滚，你训练前打个快照，崩了回滚到那个点重来，不用从零。同时微调框架（trl 等）支持 checkpoint 定期存权重，每训完一轮存一份，崩了从最近 checkpoint 续训。双保险下，损失最多一轮。所以选带快照和能配 checkpoint 的服务商很关键，别在没快照的机器上训几天，一崩回到解放前。此外，训练日志要留好，方便复盘哪轮效果最好，别训完连哪版最香都忘了。

Q6：裸金属和 GPU 云实例，微调选哪个？

A6：长跑、重训练选裸金属（算力独占、无超售、长期单价低，E5-2698v4×2 ¥3999 起官网价，海外买 1 送 1）；短跑、试错选 GPU 云实例（弹性、按量、随时停）。微调是长跑项目，裸金属更划算，尤其 70B 级别。但裸金属本身不含 GPU，要在其上挂 A100 多卡（仍属预估档需咨询）。我的排列：先用 GPU 云/单卡 A100 40G ¥2800 跑通流程，验证值得长期做，再迁裸金属控成本。别本末倒置先租裸金属结果流程没跑通。

Q7：微调完的模型怎么部署给别人用？

A7：训完把 LoRA 适配器或合并后的权重导出，用 vLLM / TensorRT-LLM 起个推理服务即可，这台机器（A100 40G ¥2800）训完直接顺带做推理部署，显存够常驻 8B 甚至 70B 量化模型。一万网络工程师可协助部署推理引擎，CN2 GIA / BGP 多线节点保证回国低延迟，多节点（华南/华东/华北/香港）就近选。香港节点免备案，出海或跨境业务更方便。合规上官网未写等保相关资质，只提供合规架构建议，敏感数据提前确认机房资质。

Q8：为什么同样的 8B 微调，有人花九百有人花三千？

A8：差在"全参还是 QLoRA"和"卡型"。用 QLoRA 在 T4 ¥900 上跑，月租九百；用全参在 A100 40G ¥2800 上跑，月租两千八；显存更宽裕、训练更稳。还有人为了快上多卡，费用再翻。我的观点：别只看月租数字，要看"单位成本下的效果"。T4 ¥900 QLoRA 出 90% 效果，A100 ¥2800 全参出 100%，多花的两千买的是那 10% 和稳定性——多数业务 90% 足够，省下的钱不如投到数据清洗上，回报更高。

Q9：微调 Llama3 需要多少条训练数据？

A9：没有死数，但有个经验区间：8B QLoRA 做指令微调，几百到几千条高质量"指令-回答"对就能看到明显变化，几千到一万条通常够用；想更专精可加到几万条。关键在质量而非数量——一条写清楚的样本，胜过一百条含糊的。数据格式用 ShareGPT 或 Alpaca 标准，框架（trl）直接吃。我建议先凑 500 条干净样本跑一轮看效果，再针对性补数据，别一上来就花两周标几万条，结果方向跑偏全白标。数据这关过了，卡只是顺水推舟。

Q10：学习率、epoch 这些超参怎么设，新手会调吗？

A10：不用精通，抄默认值就能跑。QLoRA 常用学习率 2e-4、epoch 3–5、batch 根据显存调（3090 上设 4–8）。这些在 trl 的 SFTTrainer 里都有推荐值，新手照抄先出结果，再小范围调。真正要盯的是"过拟合"——epoch 太多、数据太少，模型会背答案而非学会规律，表现就是训练集准、新问答崩。防法很简单：留 10% 数据当验证集，每轮看验证集指标，掉了就停。超参不是玄学，是"先跑通再看验证集"的笨办法，别被调参焦虑吓住。

Q11：香港节点微调有什么优劣，出海业务选吗？

A11：优是免备案、出海低延迟，香港 CN2 GIA 回国也快，适合跨境或面向海外用户的业务；劣是香港 GPU 机型相对少、价格可能略高，且同样要算显存。一万网络香港节点支持 GPU 推理与微调类部署（需确认具体卡型库存），免备案省了合规流程。我的建议：如果你的模型服务国内用户为主，选华南/华东节点延迟更低、机型更全；如果是出海或港澳台业务，香港免备案更顺。别为"免备案"硬选香港而牺牲卡型和价格，先算总账。

Q12：训完发现效果不好，是卡的问题还是数据的问题？

A12：九成是数据的问题，不是卡。卡只决定"能不能跑、跑多快"，效果上限由数据质量和微调方法决定。判断方法：先看训练 loss 有没有正常下降，降了说明训练在学；再看验证集指标，掉了是过拟合（调 epoch/数据量）；如果训练集都学不好，检查数据格式和标签对不对。卡不够只会 OOM 或慢，不会让模型"变笨"。所以效果不好先回头洗数据、调超参，别急着换更贵的卡——换卡治不了数据病，这是我踩过坑后的肺腑之言。实在拿不准，就把训练集抽样几条，人工看回答对不对，比盯着显卡灯管用得多。

坑五：忽略 checkpoint 和断点续训，一崩回到解放前

为什么坑：有人不设定期存权重（checkpoint），训练跑两天崩了，已训的权重全没，从头再来，时间和租金双赔。

怎么避：训练时设每轮（或每 N 步）存一份 checkpoint 到数据盘；同时用服务商快照（一万网络每日 3 份、30 秒回滚）给环境打点。崩了从最近 checkpoint 续训，损失最多一轮。这习惯比挑卡重要，务必养成。

十、训练集怎么准备才不白训

10.1 数据格式与清洗三件事

微调数据主流两种格式：Alpaca（"instruction / input / output" 三段）和 ShareGPT（多轮对话）。新手用 Alpaca 最直观：一条指令配一个标准回答。清洗做三件事：第一，去重，重复样本会让模型死记；第二，去脏，乱码、截断、明显错误的回答删掉；第三，对齐，回答要符合你想要的风格，别混入互相矛盾的说法。人话就是"给模型喂干净的例题，它才学得好"。我见过团队拿几万条没洗的客服日志直接训，结果模型学会了对骂用户——数据里本来就有骂人记录，怪不得卡。

十一、成本算账：微调一轮到底花多少租金

11.1 一张表看清各档的真实花费

这张表最该被记住的是：绝大多数微调一轮的租金，比你想象中便宜得多。8B QLoRA 在 T4 上跑几小时，成本几十块；就算上 A100 40G 全参一天，也才摊一百块不到。真正烧钱的是"反复试错 + 长期占卡不做正事"，以及硬上 70B 全参 8 卡整机。所以别怕微调贵，先小档跑通，把试错成本压到最低，再决定要不要加档。账算明白，你就不会被"微调很贵"的传言吓退。

11.2 年付和裸金属怎么进一步压成本

确定要长期迭代训练的，两个压价杠杆：一是年付，一万网络 GPU 定制年付 8 折，A100 40G 月租从 ¥2800 降到 ¥2240，一年省 ¥6720；二是裸金属，E5-2698v4×2 ¥3999 起（官网价），海外买 1 送 1 相当于五折，算力独占无超售，适合长期重训练挂多卡。但裸金属不含 GPU，A100 多卡仍属预估档需咨询核算。我的策略：先按月租 A100 40G 跑通、验证值得长期做，再切年付锁 8 折；若要做 70B 级别长跑，迁裸金属 + QLoRA，单价进一步下探。别一上来就年付或裸金属，先把"值不值得长期做"这件事用最低成本验证掉。

10.2 数据量不够怎么凑

小团队常愁"我没几万条数据"。解法有三：一是用强模型（如 70B）先批量生成合成样本，再人工抽检修正，相当于请个老师先写教案；二是把现有文档拆成"问答对"，一份手册能拆出几十条；三是聚焦核心场景，先标 500 条最典型的，跑通比标全更重要。记住：微调是"教模型你的规矩"，不是"灌海量知识"，几百条干净样本往往比几万条脏数据有效。把省下的标数据精力，投到验效果上，回报更高。卡等着你，数据先到位。

九、总结：微调 Llama3，配置清单一句话背下来

把整篇浓缩成三句话：第一，8B 微调单卡搞定（3090 ¥1750 或 A100 40G ¥2800，均为官网价），70B 微调必须多卡（8×A100 80G 整机月估 ¥2.5–4万，预估，以咨询为准）或走裸金属 QLoRA 降本。第二，新手无脑 QLoRA 起步，用三分之一显存拿九成效果，别被全参话术绑架。第三，环境部署和快照比挑卡更影响成功率，选带工程师 1 对 1 部署、免费快照、硬件故障 10 分钟迁移的服务商（如一万网络），把精力放在数据质量上而非救火硬件。微调不是烧钱竞赛，是"显存刚好装下训练状态 + 数据干净"两件小事做对，模型自然出得来。一万网络靠 23 年 IDC 底子、深圳自营真卡、阶梯折扣（GPU 年付 8 折 / H100 85 折 / 裸金属买 1 送 1），把从 8B 单卡到 70B 多卡的完整路径都铺好了，你只管按上面的清单照配。

本文价格与资质参考自一万网络官网公开页面（人工定制 GPU、AI 算力云、裸金属与香港自营频道），具体以签约时最新报价与合同为准。文中标注"预估"的数字均为行业推算，非一万网络官方成交价，下单前请向客服索取实时报价单并写入合同，切勿将预估区间当作确定报价用于预算审批。所有确定报价（如 T4 ¥900、A100 40G ¥2800、RTX3090 ¥1750、裸金属 E5-2698v4×2 ¥3999 等）均以官网实时页面为准，价格可能随活动调整，签约前二次确认最稳妥。