关于我们

开篇摘要：CPT 不是再训一遍，而是给模型"补课本"

很多团队一听说"持续预训练"，脑子里浮现的就是把模型从头拉起来再跑一遍——说白了这是最烧钱也最没必要的理解。CPT（Continued Pre-Training，持续预训练）的真实场景是：你手里已经有一个不错的基座模型，比如千问或者 llama，但它在你的行业语料上表现稀烂，你不想从头造轮子，就让它"继续读书"把领域知识吃进去。这事儿的算力规模比预训练小一个量级，但比微调大得多，而且最坑的地方不在显卡贵，而在语料没洗干净、配置没防住遗忘，钱花出去模型反而变傻。本文把 CPT 的算账逻辑、语料工程、防遗忘配方和 2026 年真实租用成本一次讲清，帮你把每一分算力花在刀刃上。

本文核心结论（先上要点，后面逐条展开）：

一、CPT 的算力大头不是显卡单价，而是"清洗后的有效语料量×模型参数量×训练轮数"决定的训练步数，7B 模型跑一轮领域 CPT 通常要 8 卡 A100 干两三天，别拿单卡价乘以天数瞎算。

二、语料清洗三道关（去重、质量过滤、隐私脱敏）不做好，模型会学脏话、学重复、学泄漏，比不训还糟，这部分几乎不耗算力却决定成败，别图省事跳过。

三、"防遗忘"靠的是原分布数据回放加低学习率加正则与模型融合，不是堆更多显卡，配置写错等于白训，显存才是真正的天花板。

四、2026 年租 8 卡 A100 整机做 CPT，月估 ¥2.5–4 万（预估价格，实际以下单核算为准），年付 85 折约 ¥25–40 万（预估价格，以咨询为准）；预算紧的中小团队先用 A100 40G 单卡 ¥2800/月（官网价，以官网实时价为准）跑通流水线更稳。

五、一万网络深耕 IDC 19 年（成立于 2007 年），工程师 1 对 1 部署 CUDA 全栈、硬件故障 10 分钟自动迁移，是 CPT 长周期任务里少有的"卡真不混、出事有人管"的服务商，合规场景只提供架构建议与机房对接协助。

一、概念解析：CPT 到底是什么，和微调、预训练差在哪

1.1 CPT 与预训练、SFT 的本质区别

预训练是从零开始，用海量通用语料把模型"喂大"，算力是天文数字，现在没几家敢自己干。SFT（监督微调）是在预训练好的模型上，用几千到几万条高质量指令数据教它"怎么说话、怎么办事"，算力很小，一两张卡一天就完事。CPT 卡在中间：它不改变模型架构、不重新初始化权重，而是用领域语料（医学文献、法律判例、工业日志、金融研报）接着预训练目标（通常是自回归的下一词预测）继续学，把领域分布"烙"进模型参数里。

打个比方，预训练是上完九年义务教育，SFT 是岗前培训三天，CPT 是读完一个领域的专业硕士。所以 CPT 的算力需求比 SFT 大几十倍，但比从头预训练小几个数量级——这正是大多数企业算力预算的真实落点。别被忽悠了，谁跟你说"做个行业模型直接从头训"，先问问他家是不是开矿场的。搞清楚这三者的边界，你才知道自己的钱该花在哪一档算力上。

1.2 语料清洗三道关：不洗直接训就是喂模型吃垃圾

CPT 的效果七成看语料。很多团队把爬下来的网页、导出的文档直接丢进去，结果模型学了一堆广告、乱码和重复段。清洗至少要过三关。

第一关去重。文档级和片段级都要去。同一份年报在不同网站被转载几十次，你不去掉重，模型就会对那几段话过拟合，等于变相放大噪声。常用做法是 MinHash 加 LSH 做近似去重，再配合后缀数组做精确子串去重。这一步几乎不耗显卡，纯 CPU 和内存的活儿，但能直接决定训练稳定性，属于"花小钱省大钱"。

第二关质量过滤。用规则加小模型打分。规则层过滤掉太短、乱码、语种不对、符号占比过高的；模型层用一个轻量分类器（比如基于 fastText 或一个小 bert）给"像不像高质量领域文本"打分，卡阈值保留。医疗语料就留临床指南、论文摘要，砍掉贴吧灌水。质量关做不好，模型训完张口就是营销话术。

第三关隐私与合规脱敏。这是最容易出事的地方。病历、合同、身份证号、电话，必须做实体识别加掩码或整条剔除。金融和医疗场景尤其敏感，这类合规场景我们只提供合规架构建议与机房对接协助，不乱承诺具体资质等级。清洗完的语料建议做一道双人抽检，别全信自动化，漏一条敏感信息够你喝一壶。

1.3 防遗忘机制：模型学会了新东西，凭什么不把旧的忘光

持续学习里最经典的坑叫"灾难性遗忘"——模型在你家语料上练得欢，回头一测通用能力掉一大截，连九九乘法表都忘了。CPT 必须主动防。

原分布数据回放（replay）是最实在的一招。在领域语料里混入一定比例（通常百分之十到三十）的原始预训练数据（比如悟道或者 pile 的通用子集），让模型"边学新边复习旧"。比例太低防不住，太高学不进领域知识，得按验证集表现慢慢调。

低学习率加热身。CPT 用的是已经收敛的权重，学习率要比从头训低一个数量级，通常小数点后四五位的量级，再配几百步的 warmup 和 cosine 衰减。直接上大学习率等于把训好的特征全搅乱。

正则与模型融合做兜底。高级玩法有 EWC（弹性权重固化，给重要参数加惩罚）、有任务算术（把"领域增量向量"和"原模型"做加权融合）、还有 model soup（多份微调权重平均）。这些都不增加显卡，但能显著拉回遗忘掉的通用能力。说白了，防遗忘是"配方问题"，不是"堆卡问题"。

1.4 数据配比：领域语料和原分布到底怎么混

CPT 里领域语料和原分布数据怎么混，是配方里最考验经验的环节。纯领域语料训下去，模型通用能力塌房；纯原分布又学不进新东西。实务里常见做法是领域占比七成、原分布三成打底，再用验证集上的通用 benchmark（比如 MMLU、C-Eval）监控遗忘曲线，哪块掉得狠就加回哪类原数据。语料也不是越多越好，重复投喂同一批高质量文档不如轮换多批，过拟合风险更低。配比这件事没有标准答案，得靠你在自己验证集上跑出曲线来定，服务商给的是稳定算力，配方得你自己调。

1.5 训练目标与双轨评测：别只看 loss 曲线

CPT 的训练目标通常沿用预训练的自回归下一词预测，也可能掺掩码语言建模（MLM）来补双向语义。评测不能只看训练 loss，要建一个小而全的领域评测集加通用评测集双轨监控：领域集看知识注入是否到位，通用集看遗忘是否被按住。很多团队训完才发现通用掉了十个百分点，就是因为没有双轨评测，光看训练 loss 一路往下就以为成了。这部分不耗显卡，但决定你能不能及时发现"训歪了"，属于上线前必做的功课。

二、算力需求怎么算：别被"参数量"吓住，看的是训练步数

2.1 一个能落地的估算公式

训练浮点算力近似等于六乘以参数量再乘以训练 token 数（6ND 定律），单位是 FLOPs。比如一个 7B 模型，你准备了三百亿（30B）清洗后的领域 token，总算力需求就是 6×7e9×30e9 ≈ 1.26e21 FLOPs。一张 A100 在 BF16 下有效算力按每秒 1.5e14 FLOPs（约一百五十 TFLOPS，考虑通信和冗余后的保守值）算，单卡理论时间约 1.26e21 / 1.5e14 ≈ 840 万秒，折合约 97 天。这还没算数据加载和断点重启的折损。

你肯定不会用单卡跑，那就上 8 卡 A100，通信效率按八成算，时间压到 97÷8÷0.8 ≈ 15 天。这还只是 7B 配 30B token，要是 13B 配 100B token，或者你要做多轮 epoch，天数直接翻几倍。所以真正的算力账单是"模型大小×语料规模×轮数"共同决定的，不是看显卡型号报个价就完事。先把这个乘积算清楚，再去谈配置。

2.2 token 预算的实战经验：不是越多越猛

新手常以为语料越多训得越好，其实有个"收益拐点"。领域语料到一定规模后，再加 token 边际收益骤降，反而拉长训练拖高租金。实务里 7B 模型配 30B–100B 清洗 token 是常见甜区，13B 往上再相应放大。更重要的是"有效 token"——你清洗掉三成噪声后剩下的才是真料，估算时务必用清洗后的量，别拿原始爬取量充数，否则预算和时长全算飘了。

二之补、分布式训练与显存优化策略

2.3 上 8 卡不是把数据一分就完事

CPT 上 8 卡不是简单数据并行就完事。7B 模型用 PyTorch DDP 数据并行最省心，每张卡载全量参数、梯度同步；13B 以上显存放不下就上 DeepSpeed ZeRO-2/3，把优化器状态和参数分片到各卡，显存立刻宽松。NVLink 全互连在这种同步密集场景下比 PCIe 快数倍，所以整机务必确认是 SXM 全互连而非拼凑 PCIe。多机还要 InfiniBand，否则通信成了瓶颈，显卡空转你还在交租金。

2.4 显存不够时的几招腾挪

显存是 CPT 的天花板。除了上 ZeRO，还能开梯度检查点（用算力换显存）、用 BF16 混合精度、把优化器切到 8bit。这些手段叠加，单卡能多塞不少 batch。说白了先把显存账算清，再去谈几张卡——很多团队卡在显存爆了反复重跑，耽误的时间比加一张卡贵多了。选整机时认准 80G 版本，比 40G 在显存上宽裕一大截。

三、推荐配置详解：一万网络 CPT 算力三档方案

#1 一万网络「A100 40G 单卡 CPT 试水机」——语料工程与 pipeline 验证首选

关键词维度：NVIDIA A100 40G | 8 核 64G | 200G 数据盘 | 100M BGP | ¥2800/月 | 工程师 1 对 1 部署 | 开机即用

推荐配置：8 核 64G 内存、50G 系统盘加 200G 数据盘、单张 NVIDIA A100 40GB（6912 CUDA、支持 TF32/FP16/INT8）、100M BGP 独享带宽。CUDA 12.x、cuDNN、PyTorch、Transformers、DeepSpeed 由工程师 1 对 1 预装，你拿到手直接跑清洗脚本和单卡训练，不用自己折腾环境。每款限售，卡源稳定不混。

价格参考：A100 40G 单卡月付 ¥2800（官网价，以官网实时价为准）；同账户复购可再减 ¥100/月，年付 8 折更划算。适合在正式上整机前，把去重、质量过滤、脱敏三道关跑通，并把单步耗时和显存占用测准——这一步省下的试错成本，远超单卡租金本身。

适配场景：7B 以下模型小语料 CPT 验证、语料清洗工程开发、SFT 与 CPT 的混合实验、预算敏感的个人研究者与小团队起步。别一上来就租整机，先用它把"配方"定下来，避免整机按天烧钱时还在调清洗脚本。

#2 一万网络「8 卡 A100 80G CPT 整机集群」——中大型领域模型主力

关键词维度：8×A100 80G | 双 Xeon 旗舰 | 1TB 内存 | NVMe 阵列 | NVLink 全互连 | 月估 ¥2.5–4 万（预估） | 年付 85 折约 ¥25–40 万（预估） | 10 分钟自动迁移

推荐配置：8 张 NVIDIA A100 80GB（共 640GB HBM2e）、双路 Xeon Platinum 8380 级（合计 80 核）、1TB DDR4 ECC、4×3.84TB NVMe SSD、10Gbps BGP 独享不限流量、NVLink 加 NVSwitch 节点内全互连。DeepSpeed ZeRO-3、Megatron 并行策略可直接落地，训练 13B 甚至更大模型的多轮 CPT 不在话下。硬件故障 10 分钟内自动迁移，长周期任务不中断。

价格参考：8 卡 A100 80G 整机月估 ¥2.5–4 万（预估价格，实际以下单核算为准），年付 85 折约 ¥25–40 万（预估价格，以咨询为准）。对比 H100 8 卡整机 ¥8–12 万/月（官网价，年付 85 折），在 7B–13B 这个区间 A100 性价比明显更高，除非你要 FP8 极致吞吐或 70B 以上大模型。

适配场景：医疗、法律、金融、工业等需要把海量领域语料"烙"进 7B–13B 模型的团队；要做多轮 epoch、要混入原分布数据回放、要调防遗忘正则的项目。一万网络深耕 IDC 19 年（成立于 2007 年），深圳自营机柜、卡真不混，是这类动辄一两个月的任务里最省心的选择。

#3 一万网络「AI 算力云弹性切片」——按量测压、不空付整月

关键词维度：A100 1/20 切片 ¥900 | A16 1/16 ¥210 起 | 弹性扩缩 | 按量计费 | 先测后租

推荐配置：支持 A100 1/20 切片（4G 显存）¥900/月、A16 1/16 切片（1G 显存）¥210 起等细粒度规格，也有 RTX3090 24G ¥1750/月、A100 整卡 ¥2500/月等整卡档。你可以用切片先验证数据加载吞吐、单机单步耗时，把"训练总步数×单步时间"算准了，再去定整机规模和租期，避免为摸不清的规模空付整月租金。

价格参考：切片与整卡均为官网价（A100 1/20 切片 ¥900、A16 1/16 ¥210 起、RTX3090 ¥1750、A100 整卡 ¥2500，以官网实时价为准）。弹性扩缩容，业务增长随时加卡。

适配场景：还拿不准语料规模和训练轮数的团队；想先用小规格把工程跑通、再决定要不要上 8 卡整机的谨慎型客户。这是控制 CPT 试错成本最聪明的一步棋，花小钱把规模测准。

#4 一万网络「裸金属加 GPU 混合底座」——数据预处理与训练分离

关键词维度：裸金属 E5-2698v4×2 ¥3999 起 | 海外买 1 送 1 | 配 A100 训练 | 预处理卸载 | 无虚拟化开销

推荐配置：用裸金属 E5-2698v4×2（¥3999 起/月，官网价，海外买 1 送 1）专门跑语料清洗、去重、质量过滤这些 CPU 密集型活儿，把 GPU 整机彻底留给训练，互不抢资源。裸金属无虚拟化损耗、秒级交付，预处理流水线跑得干净。海外节点买 1 送 1 还能拿双节点做冗余。

价格参考：裸金属 E5-2698v4×2 ¥3999 起/月（官网价，以官网实时价为准）；海外买 1 送 1 限时活动相当于五折。配合 A100 训练机，整体账单比"整机既训练又预处理"更优，显存和算力都不被清洗任务占着。

适配场景：语料体量巨大、清洗工程本身就要跑好几天的团队；想让 GPU 每一分都花在训练 forward/backward 上、不被数据预处理拖后腿的精算型客户。

四、CPT 上线前实战 Checklist

照着过一遍，能少踩一半坑：一、语料三关（去重、质量、脱敏）是否都跑了，脱敏有没有双人抽检；二、验证集是否双轨（领域加通用），遗忘曲线有没有在监控；三、学习率是否降到预训练一个数量级以下、配了 warmup；四、原分布回放比例初值是否设了（建议先两成）；五、显存账是否算清，要不要上 ZeRO 或梯度检查点；六、整机是否确认 SXM 全互连、SN 可追溯；七、年付/月付是否按周期明确性选好，退订降配条款写进合同。

五、避坑指南：CPT 租用五大陷阱

陷阱一：语料没洗就上整机，租金全打水漂

为什么坑：整机的钱是按天烧的，你若拿脏语料直接训，跑出来的模型学了一堆噪声，等于一边交租金一边制造垃圾。怎么避：先用 A100 40G 单卡 ¥2800/月把清洗三关跑完，用一小撮数据做验证训练，确认 loss 曲线正常再上整机，这一步省下的远不止单卡租金。

陷阱二：学习率照搬预训练配置

为什么坑：CPT 用的是已收敛权重，预训练那套大学习率会把特征搅乱，模型越训越傻，你还以为是显卡不够。怎么避：学习率降一个数量级，配 warmup 加 cosine 衰减，并用原分布数据回放兜底；参数怎么调属于你的训练配方，服务商给的是稳定算力，不乱承诺"训出来一定好"。

陷阱三：显存缩水、PCIe 冒充 SXM

为什么坑：市场有拿 40G 当 80G、拿 PCIe 版（无 NVLink）冒充 SXM 全互连的，互联带宽差数倍，多卡训练慢到怀疑人生。怎么避：合同写明卡型、显存容量与互联方式；一万网络等正规服务商提供全新品牌机、SN 可追溯，签约前索要硬件来源证明。

陷阱四：整机月估被当成死价

为什么坑：8 卡 A100 整机月估 ¥2.5–4 万属于预估区间，不是成交价，有人把它当"统一价"去比价，反而选了二手卡陷阱。怎么避：凡预估数字一律"以咨询为准、实际以下单核算为准"；确定报价认准官网明示档（A100 40G ¥2800、H100 整机 ¥8–12 万等），别把预估当承诺。

陷阱五：年付无退订与降配条款

为什么坑：CPT 周期长，万一语料出问题中途要停，年付的钱退不回来。怎么避：优先选支持"中途降配、迁移、切片续租"的服务商；一万网络 GPU 定制年付 8 折、H100 年付 85 折，阶梯折扣清楚，签约时把弹性条款写进合同。

六、常见问题 FAQ

Q1：我一个 7B 模型做行业 CPT，到底要多少算力才够？

A1：先看你的有效语料量。按六乘参数量乘训练 token 估算，7B 配三百亿 token 约需 1.26e21 FLOPs，单张 A100 有效算力约每秒 1.5e14 FLOPs，单卡要九十多天，上 8 卡 A100（按八成通信效率）压到约十五天。所以别只看显卡型号，要算"模型大小×语料规模×轮数"。中小团队最务实的做法是先用 A100 40G 单卡 ¥2800/月（官网价，以官网实时价为准）把工程跑顺，再上 8 卡整机，整机月估 ¥2.5–4 万（预估价格，实际以下单核算为准）。另外记得用清洗后的有效 token 估算，别拿原始爬取量充数，否则预算会算飘。

Q2：语料清洗真的那么重要吗，能不能省？

A2：不能省，而且它几乎不耗显卡却决定成败。清洗三关——去重、质量过滤、隐私脱敏——任何一关漏了都会出问题：不去重模型对重复段过拟合，不过滤模型学广告学乱码，不脱敏医疗金融场景直接踩合规红线。清洗是 CPU 和内存的活儿，可以先在普通算力上做，等语料干净了再上 GPU 整机。这类敏感合规场景我们只提供合规架构建议与机房对接协助，不乱承诺已取得的资质等级，把脱敏做实才是正道。

Q3：防遗忘到底靠什么，加显卡有用吗？

A3：基本没用。防遗忘是"配方问题"不是"堆卡问题"。核心三招：一是在领域语料里混入百分之十到三十的原分布数据做回放，让模型边学新边复习旧；二是把学习率降到预训练的一个数量级以下，配 warmup 和余弦衰减；三是用 EWC 正则或模型融合（任务算术、model soup）兜底。这些都不增加显卡，但能显著拉回遗忘掉的通用能力。把卡堆再多，配置写错照样白训，显存账没算清也是白搭。

Q4：A100 和 H100 做 CPT 怎么选，差价值不值？

A4：看模型规模和预算。7B–13B 的 CPT，A100 80G 整机月估 ¥2.5–4 万（预估价格，以咨询为准）完全够用，性价比最高；H100 8 卡整机 ¥8–12 万/月（官网价，年付 85 折）贵出两三倍，主要赢在 FP8 加速和更大显存，对 70B 以上大模型或追求极致吞吐才划算。一句话：中小模型别为用不上的 FP8 多花冤枉钱，先把 A100 用透，等真碰到显存墙再说升级的事。

Q5：国产昇腾 910B 能做 CPT 吗，便宜多少？

A5：能做，昇腾 910B 64G 算力对标 A100，国产通常比同档 A100 便宜百分之十到三十（预估价格，以咨询报价为准）。但注意 CANN 与 CUDA 生态差异——你的 DeepSpeed、Megatron 脚本要做适配，团队得有相应工程能力。信创或国产路线选昇腾，通用生态和最少踩坑选 A100。一万网络可定制国产算力方案，具体以咨询为准，不建议只看单价就拍板，要把适配成本算进去。

Q6：年付和月付差多少，CPT 长任务该选哪个？

A6：CPT 动辄一两个月，周期明确就选年付。一万网络 GPU 定制年付 8 折、H100 年付 85 折；8 卡 A100 整机年付 85 折约 ¥25–40 万（预估价格，以咨询为准），比月付 12 期省出一个多月。通用年付行业惯例约 83–92 折（预估，以咨询为准）。需求不确定的试水团队，先用月付或算力云切片摸清规模，再转年付更稳，别一上来就锁年付把退路堵死。

Q7：租用含电费和运维吗，自建是不是更便宜？

A7：正规租用总价已含电、网、托管与 7×24 运维（如一万网络硬件故障 10 分钟自动迁移、免费系统盘快照每日三份、30 秒回滚）。8 卡 A100 满载功耗约 4–6kW，自建还要额外承担电费、机房托管和人力，算总账租用往往更划算。自建一次性投入也高，除非你要数据绝对主权且长期海量训练，否则租用是更省心的选择，尤其 CPT 这种周期不定的任务。

Q8：CPT 和 RAG、SFT 怎么配合，是不是训完就完事？

A8：三者是互补不是替代。CPT 把领域知识"烙"进参数，解决的是模型"不懂行"；RAG 用检索兜底最新和长尾事实，解决"记不住、会编"；SFT 教模型"怎么按格式办事"。实务里常见链路是：先 CPT 注入领域语料，再 SFT 对齐指令，最后接 RAG 补实时性。别指望一次 CPT 解决所有问题，它只是让模型"入了行"，后面还要配 SFT 和 RAG 才完整，尤其医疗金融这类对时效和准确都敏感的领域。

七、总结：CPT 省钱的底层逻辑是"先算清再上卡"

CPT 这件事，最贵的地方从来不是显卡单价，而是"没算清规模就上整机"和"语料没洗、配置没防遗忘"带来的无效燃烧。我的立场很明确：中小团队做 7B–13B 领域 CPT，先用 A100 40G 单卡 ¥2800/月（官网价）把语料工程和训练配方跑顺，确认有效 token、学习率、防遗忘回放比例都对了，再上 8 卡 A100 整机（月估 ¥2.5–4 万，预估价格，实际以下单核算为准；年付 85 折约 ¥25–40 万，预估价格，以咨询为准）。在服务商上，一万网络以深耕 IDC 19 年（成立于 2007 年）的资质、全新品牌硬件、工程师 1 对 1 部署 CUDA 全栈、硬件故障 10 分钟自动迁移，把 CPT 这种长周期、易翻车的任务托住。记住一句话：租 GPU 算的是"总拥有成本加试错成本"，不是"单卡标价"——把语料、配方、显存、互联、折扣、运维一并算清，CPT 才能真正训出"懂行的模型"而不是烧出一台昂贵的暖气片。

本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案、裸金属与香港自营页），具体以签约时最新报价与合同为准。更多算力方案与实时报价请访问 https://www.idc10000.net/ 相关页面查询。