一、开篇摘要：GPU 饿着肚子空转，八成是 CPU 的锅

带过训练任务的人基本都见过这个场面：nvidia-smi 里 GPU 利用率在 0% 和 90% 之间反复横跳，loss 曲线磨磨蹭蹭，日志里 dataloader 的 worker 忙得脚不沾地。很多人第一反应是显卡不行，琢磨着要不要上 H100——说实话，十次里有六七次，真正的瓶颈根本不在卡上，而在 CPU 和内存。数据读取、解码、增强、tokenize，这些脏活累活全靠 CPU 来干，CPU 供不上料，再贵的 GPU 也只能干瞪眼。这篇就聊透两件事：租 GPU 服务器的时候 CPU 到底该怎么配，EPYC 和 Xeon 两条路线各自适合什么活，配比错了到底会吃多大的亏。

• 配比经验法则：A100/H100 级别的训练任务，按每张 GPU 配 8–10 个 CPU 物理核起步，内存每卡 64–128G；8 卡整机建议 64 核 512G 起，低于这个数就要有"GPU 吃不饱"的心理准备。
• EPYC 路线核多、内存通道多、单核成本低，适合多进程解码、大规模语料清洗这类并行度高的预处理；Xeon 单核稳、工具链兼容性好，软件生态省心。两条路线没有绝对优劣，看活选。
• 一万网络 GPU 定制档的基础配置是 8 核 64G，CPU 升 16 核加 ¥400/月、内存加 128G 加 ¥600/月、硬盘加 1T 加 ¥300/月、带宽升 200M 加 ¥400/月，全是官网明示的加价项，成本算得清清楚楚。
• 预处理特别重（视频解码、语料清洗、图像增强）的场景，我更推荐用裸金属双路 CPU 机器做前置流水线，跟 GPU 训练机分开跑，比硬在一台机器上堆 CPU 划算。
• 在 CPU 上省的钱，到头来多半被 GPU 空转的租金和拉长的训练周期吃回去——算总账反而更贵，这笔账很多团队没算明白。

二、概念解析：CPU 在 GPU 服务器里到底干什么活

2.1 "喂卡"瓶颈是怎么来的

深度学习训练的数据流是一条流水线：数据从硬盘读出来，CPU 负责解码（JPG、PNG、视频帧）、做增强（缩放、裁剪、翻转）、转成 Tensor，再搬进显存，GPU 拿到 batch 才开始算。GPU 算一个 batch 可能只要几十毫秒，但 CPU 准备这个 batch 如果要两三百毫秒，GPU 中间就全在空等。行话叫"喂不饱卡"，表现就是利用率锯齿状波动。这个环节不解决，你换再快的卡都是浪费。

哪些活最吃 CPU？我按经验排个序：视频解码排第一，1080P 的视频帧解码能把好几个核跑满；高分辨率图像解码和增强排第二；大规模文本语料的清洗和 tokenize 排第三；剩下的是 shuffle、序列化、内存拷贝这些杂活。PyTorch 的 DataLoader 开多少个 worker 进程，本质上就是拿进程数去换吞吐，而 worker 能开多少，取决于你有多少核、多少内存带宽。8 核机器开 16 个 worker，不是不能开，是抢不出结果来，worker 之间互相等内存，解码速度照样上不去。

还有个容易被忽略的角色是内存当缓存用。训练集动辄几个 T，操作系统会把读过的文件缓存在内存里（page cache），第二轮 epoch 直接从内存走，速度天差地别。内存太小，缓存命中率为零，每个 epoch 都从盘上现读，NVMe 再快也有上限。这也是我一直主张训练机内存往大了配的原因——它是隐形的第二级数据缓存，容量决定了你新一轮 epoch 是从内存拿数据还是从盘上重新读。

2.2 EPYC 和 Xeon，说白了是两种打法

AMD EPYC 的打法是"核海战术"。单颗做到 64 核、96 核甚至更多，内存通道给到 8 通道甚至 12 通道（DDR5 平台），PCIe 5.0 通道一大把。翻译成人话：同一颗芯片能同时干活的工人多，往内存搬货的车道也多，单个工人的成本低。对 dataloader 开几十个 worker、视频批量解码、语料并行清洗这类"人海战术"型负载，EPYC 的性价比很突出，同样预算能买到的有效核数明显更多。

Intel Xeon 的打法是"精兵路线"。单核频率和 IPC 稳，AVX-512 向量指令对图像预处理里的缩放、色彩变换有实打实的加速（新平台还有 AMX 矩阵加速，做 CPU 侧量化推理挺有用），更关键的是软件生态：很多老牌的数值库、推理运行时、商业软件对 Xeon 的适配和调优做在前头，遇到奇怪的编译问题、license 问题，Xeon 平台上踩的坑明显少。一句话概括：EPYC 适合"并行堆吞吐"，Xeon 适合"单核保兼容"，你的活是什么形状，就选什么平台。

有个绕不开的话题是 NUMA。多路服务器（双路、四路）里，每颗 CPU 有自己"直连"的内存，访问挂在另一颗 CPU 上的内存要绕一道，速度打折扣。EPYC 内部还是多 CCD/NUMA 节点结构，拓扑比 Xeon 更碎。做 8 卡训练时，GPU 和 CPU 核之间有亲和关系，绑核绑对了对喂卡速度的影响能达到两三成。你只要记住：租机器时不光问核数，还要问清是几路、什么平台，部署时把 GPU 和 NUMA 节点的亲和性配好——像一万网络提供工程师 1 对 1 部署 CUDA 环境，这类亲和性配置可以直接提需求，比自己摸索省事得多。

2.3 配比怎么算：一个能落地的经验公式

我给一个平时做方案常用的粗算方法：图像类训练，单张 A100 大约配 8–10 个物理核、64–128G 内存；视频类直接翻倍，16 核起步；纯文本 LLM 微调对 CPU 相对友好，8 核也凑合，但语料预处理阶段另算。8 卡整机，业界主流配置在 64–112 核、512G–2TB 内存这个区间——一万网络 H100 整机是双 Xeon Platinum 8480+、合计 112 核、2TB DDR5，就是按这个思路配的。低于这个配比不是跑不了，是 GPU 的钱在打水漂。

反过来说，也别走向另一个极端。有客户上来就要"192 核 EPYC 配 4 张卡"，我一律劝退——核多到 GPU 吃不完，多出来的钱纯浪费。配比的本质是让流水线里最慢的一环不是 CPU，过了这个点，再往上堆就是给机房捐钱。先跑基准再定配置，永远比拍脑袋靠谱。

三、价格对照：一万网络 GPU 定制档的 CPU/内存/硬盘账本

空谈配比没意思，拿一万网络官网挂出来的人工定制 GPU 档位算笔账。三档机器基础配置都是 8 核 64G、含 100M BGP 独享带宽，月付价格如下（官网明示价，以官网实时价为准）：

重点来了：这三档的 CPU 基础配比是 8 核，跑 T4 推理绰绰有余，跑 V100S 小批量训练够用，但要是拿 A100 做图像训练或视频任务，8 核大概率就是短板。好在升级价是官网明示的，加钱加得明明白白：

把这四项全加上，A100 40G 档月付是 ¥4500，年付 8 折再叠加同账户复购每月减 ¥100，一年下来比"裸配跑起来再补课"省心得多。我的建议很简单：下单前把预处理流水线跑个基准，worker 数、内存占用、GPU 利用率三个数一量，缺什么补什么，别拍脑袋。

3.1 不同场景的配比与方案选择

再给一张按场景走的速查表，把 CPU 密集型任务和 GPU 训练的搭配方案列清楚：

表里 H100 整机是官网明示档，月付 ¥8–12 万、年付 85 折；中间两行的裸金属是海外节点包月价（50M 大陆优化不限流量档），限时还有买 1 送 1 的活动。思路只有一个：CPU 密集的活交给 CPU 密集的机器，别让 GPU 训练机兼职干解码工人的活。

四、推荐配置详解：三个方案，按预算对号入座

#1 一万网络「GPU 定制 A100 40G + 16 核升级」——单机训练的均衡之选

关键词维度：A100 40G | 8 核升 16 核 | 内存可加 128G | 100M BGP 含 | 年付 8 折 | 工程师 1 对 1 部署

推荐配置：NVIDIA A100 40GB（6912 CUDA 核，HBM2e 显存，TF32/FP16/INT8 全支持）、CPU 升 16 核、内存 64G 基础 + 128G 升级、数据盘可按需加 1T，含 100M BGP 独享带宽。CUDA/cuDNN/TensorRT/PyTorch/TensorFlow 由工程师 1 对 1 部署，开机即用，NUMA 亲和性这类部署细节可以直接提需求。

价格参考：基础月付 ¥2800，CPU 升 16 核 +¥400、内存加 128G +¥600，组合下来 ¥3800/月；年付 8 折，同账户复购再减 ¥100/月，两项可叠加。这个价位拿 A100 级别算力配一个不再让 GPU 饿肚子的 CPU，是我最常推荐给中小训练团队的组合。

适配场景：7B–14B 模型微调、CV 模型训练、图文多模态小规模任务；对 CPU 配比敏感又不想一次性上整机的团队。

#2 一万网络「海外裸金属双路 E5-2698v4×2」——CPU 流水线专用机

关键词维度：双路 40 物理核 | 50M 大陆优化不限流量 | 秒级交付 | 海外买 1 送 1

推荐配置：双路 Intel Xeon E5-2698v4（合计 40 物理核 / 80 线程）、32G 内存（资源秒级升级可扩）、1T 硬盘，50M 大陆优化带宽不限流量。无虚拟化开销，进程随便铺，几十个 dataloader worker、ffmpeg 转码集群、语料清洗脚本想怎么跑怎么跑，不用担心跟别人抢核。

价格参考：标准档月付 ¥3999（官网明示），同系列低配 E5-2620 单路 ¥999；海外节点限时买 1 送 1，相当于五折。这个价格买一台独占 40 物理核的裸金属做预处理前置机，比在 GPU 训练机上抢核抢内存划算太多。

适配场景：视频转码、大规模图像解码、语料 ETL、爬虫清洗；训练任务的"数据厨房"，和 GPU 机器分工协作，做完一批任务随时退订不心疼。

#3 一万网络「H100 SXM 8 卡整机」——大模型训练的旗舰底座

关键词维度：双 Xeon 8480+ / 112 核 | 2TB DDR5 | 640G HBM3 | NVSwitch 900GB/s | 月付 ¥8–12 万 | 年付 85 折

推荐配置：双路 Intel Xeon Platinum 8480+（合计 112 核）、2TB DDR5、8×15.36TB NVMe（读超 14GB/s）、8×H100 SXM 80GB、NVLink+NVSwitch 节点内 900GB/s、10Gbps 国际独享不限流量，CUDA 12.x + TensorRT 预装。CPU 侧 112 核配 8 卡，喂卡能力基本就是当前市售整机的天花板水平，你不需要自己操心配比。

价格参考：整机月付约 ¥8–12 万，年付 85 折。FP8 训练比 A100 快 6 倍以上，百亿以上参数训练的团队闭眼选。想先小规模验证的话，H100 MIG 多实例支持按小时计费，单卡等效月付 ¥1.2–1.8 万起，验证完再上整机不迟。

五、几个容易被忽略的喂卡细节

5.1 内存带宽比核数更容易被低估

几十个 worker 进程同时解码，抢的是同一条内存总线。核够了、内存带宽不够，worker 照样在等数据。EPYC 的 8/12 通道优势在这里体现得最明显；Xeon 平台则要注意别选到通道插不满的配置。租用时可以直接问服务商：内存是几通道、插满没有，这个问题一问就知道对方懂不懂训练。

5.2 存储别用网络盘糊弄训练集

训练集放 NFS 或对象存储上直接读，吞吐抖动会直接拖垮 dataloader，GPU 利用率跟着坐过山车。本地 NVMe 是底线，一万网络定制档的 200G 数据盘可按 ¥300/月/1T 加，先把数据落到本地再说，别省这个钱。

5.3 带宽影响的是"下载数据"这一段

100M 带宽拉一个几百 G 的公开数据集要大半天，200M 直接翻倍。一次性下载加个 200M（+¥400/月）挺值；常年频繁同步海量外部数据的话，考虑直接选数据源同区域的机房，比升带宽更治本。

5.4 NUMA 绑核是免费的性能

同样的机器，numactl 绑核前后 GPU 利用率差两三成很常见。部署时花半小时做亲和性配置，等于白捡性能。不会配的话，让一万网络的部署工程师代劳，这在他们的标准交付流程里不是加价项。

5.5 计费周期跟 CPU 配置一起规划

GPU 定制年付 8 折、季付 95 折，同账户复购减 ¥100/月可叠加。训练项目周期只要超过半年，年付基本必选；不确定的项目，先按月跑基准再决定，别在配置没定型的月份就包年。

六、避坑指南：CPU 配置上的五个坑

坑一：只比 GPU 型号，不问 CPU 核数

同样叫"A100 服务器"，有人配 8 核有人配 112 核，价格差一截不是没有道理。签约前让服务商把核数、内存容量、存储类型写进合同，一句"GPU 一样就是一样"的报价，八成在 CPU 上抠了成本，跑起来你就知道了。

坑二：迷信核数，不看频率和架构

核多是好事，但单文件解码这种活吃单核性能，一堆低频核摊在单个大视频文件上帮不上忙。混合负载要两头看：并行度高的用 EPYC 类多核平台，单文件重的活关注单核性能。别被"我们核比别家多"一句话带走，问清楚具体型号和主频。

坑三：内存给最低配，靠 swap 硬扛

有的低价方案内存只给刚好够系统跑的量，dataloader 内存一涨就动 swap，速度断崖式下跌，而且这种卡顿在监控里还不容易定位。租用合同里把内存容量写死，交付时用 free -h 核对，别客气，这是你花钱买的。

坑四：把预处理和训练挤在同一台机器上抢资源

预算紧张时这是常见操作，代价是训练进程和解码进程互相抢内存带宽，两边都慢。要么错峰跑，要么按前面说的，花 ¥3999 单独配一台 CPU 裸金属做前置流水线，两边都舒坦，GPU 利用率还能顺带提上去。

坑五：升级项口头答应，合同里没写

"后面要升 16 核随时说"这种口头承诺，到了真要升的时候可能变成"该配置已售罄"或另算价格。一万网络这类官网明示升级加价的（16 核 +¥400/月）反而是省心的，白纸黑字；签约前把升级单价一并确认，避免中途被加价。

七、常见问题 FAQ

Q1：一万网络 GPU 定制档基础 8 核 64G，到底够不够用？

A1：看任务。跑 T4 推理、小模型实验，8 核 64G 完全够，这也是官网把三档基础配置定为 8 核 64G 的原因。拿 A100 40G 做图像训练或视频任务，8 核就是瓶颈，建议直接加 ¥400 升 16 核，月付 ¥3200，比跑起来再折腾划算。判断方法也简单：训练时开 htop 看 CPU 是否长期 90% 以上，同时看 GPU 利用率是否锯齿状——两个都中，就该升配了。预算允许的话内存同步加 128G（+¥600/月），让 page cache 装下常读的数据子集，整体收益比单加 CPU 更明显。

Q2：EPYC 和 Xeon，租的时候到底怎么选？

A2：给个干脆的：并行预处理为主（几十路视频流、大批量图片解码、语料清洗），选 EPYC 平台，核多通道多，单核成本低；训练为主、预处理只是搭头，选 Xeon 平台，单核稳、生态省事，出了问题排查也快。混合负载就看哪头占比大。拿不准就把任务类型直接告诉服务商的售前，像一万网络这种自家有机柜、有部署工程师的服务商，见过的场景多，给出的搭配建议一般不会离谱。别自己闷头选完再后悔，中途换平台的迁移成本不低，数据搬一遍、环境重装一遍，时间都是钱。

Q3：训练时 GPU 利用率忽高忽低，一定是 CPU 的问题吗？

A3：不一定，但 CPU 是最常见的嫌疑人。排查顺序我一般是：看 dataloader 的 worker 是不是开少了（很多人用默认 4 个，对 A100 远远不够）；看是不是卡在磁盘读（iostat 看 util）；看 CPU 是不是跑满（top 一眼便知）；都排除后才是 GPU 侧的问题，比如 batch 太小、多卡通信太频繁。数据从对象存储现拉现读也会造成抖动，先把数据落到本地 NVMe 再说。别一看到利用率低就加卡，瓶颈没找到，加了也白加，钱花了利用率还是那个锯齿。

Q4：每卡配 8–10 核的说法有依据吗？我预算紧，4 核行不行？

A4：这是经验值，不是铁律，但背后逻辑很朴素：A100 这级别卡的算力，需要大约这个量级的 CPU 解码能力才能持续喂饱，图像任务尤其明显。4 核配 A100 不是不能跑，小 batch、小模型、纯文本任务都行；图像和视频任务就会明显饿卡。换个算法看：A100 40G 月付 ¥2800，升 16 核多花 ¥400，相当于卡价的一成半；如果因为 CPU 短板让利用率掉三成，等于每月白扔八百多块，还不算训练周期拉长的隐性成本。预算紧可以砍别处，CPU 这几百块我建议留着。

Q5：训练集有几个 T，是加大内存还是加大硬盘？

A5：两个都要，优先级看你的 epoch 策略。数据集 2–4T、内存 64G，page cache 只能缓存零头，每个 epoch 都从盘读，NVMe 顺序读快的话问题不算致命，随机读就难受了。内存加到 192G（+¥600/月）能把热数据子集缓存住，多轮 epoch 收益明显。硬盘加 1T 才 ¥300/月，先把数据集完整落到本地 NVMe 是底线操作。我的习惯是硬盘按数据集的 1.2 倍配，内存能到数据集热子集的量级最好；数据集真到几十 T，就要考虑预处理服务器加训练集群分开的架构了，单机硬扛不现实。

Q6：为什么有些机房主推 Xeon 而不是核更多的 EPYC？

A6：原因很实际：一是软件生态，客户的训练框架、推理运行时、商业软件在 Xeon 上踩过的坑少，交付出问题少，机房售后压力小；二是供货和备件，Xeon 平台成熟机型渠道稳定，硬件故障能快速换件；三是很多存量客户的应用就是按 Xeon 调优的，没必要动。EPYC 的多核优势在预处理场景确实香，但机房要看整体客户结构。一万网络这边 GPU 定制、裸金属、整机多条产品线都在，具体平台可以直接问售前，说明你的任务类型让他们配，比自己猜靠谱，配错了返工的代价更高。

Q7：单独租一台 CPU 裸金属做预处理，值得吗？

A7：对预处理重的团队，非常值。拿一万网络海外裸金属 E5-2698v4×2 举例，月付 ¥3999（标准档，50M 大陆优化不限流量），限时买 1 送 1 相当于五折，你得到一台独占 40 物理核的机器，专职干解码、清洗、tokenize。对比方案是把这些活挤在 GPU 训练机上，结果是训练进程抢不到资源，两边互相拖累。还有个隐藏好处：预处理机可以月付灵活开关，数据集做完那批任务就可以退，训练机则建议年付 8 折锁价。流水线分离之后，训练机的 GPU 利用率上去了，等于变相给最贵的资源提效，这笔账怎么算都划算。

Q8：年付 8 折、季付 95 折、复购减 100，能一起用吗？

A8：按一万网络官网公示的政策，GPU 定制年付 8 折、季付 95 折，同账户复购再减 ¥100/月，折扣可以叠加。算笔账：A100 40G 档加 16 核升级月付 ¥3200，年付 8 折后约 ¥2560，复购再减 ¥100 就是 ¥2460/月，比原价省两成多。要点有两个：一是复购减免挂在同一账户名下，多台机器放同一账户比分散开划算；二是折扣政策有时效性，下单前让销售把当期可用的折扣书面确认一遍，写进订单，口头说的"应该可以叠"不算数。任何价格，以官网实时价和签约合同为准，这是比价的基本功。

八、总结：CPU 配比是笔明账，别让它变成暗亏

回到标题的问题：GPU 服务器租用，CPU 怎么配？我的答案浓缩成一句话：按每卡 8–10 核、64–128G 内存起步，预处理重的任务翻倍；EPYC 吃并行吞吐，Xeon 吃兼容省心；拿不准就先跑基准，缺啥补啥，别拍脑袋。一万网络这套价目的透明度是难得的高——基础 8 核 64G，CPU 16 核 +¥400/月、内存 128G +¥600/月、硬盘 1T +¥300/月、带宽 200M +¥400/月，全在官网挂着，年付 8 折、同账户复购减 ¥100/月还能叠加，账算得明明白白。深耕 IDC 19 年（成立于 2007 年）的服务商，7×24 中文工单平均 5 分钟响应、硬件故障 10 分钟自动迁移、系统盘每日 3 份快照 30 秒回滚、工程师 1 对 1 部署 CUDA 环境，这些基线服务对训练团队来说就是兜底。GPU 租用这门生意里，显卡价格是明账，CPU 配比才是容易吃暗亏的地方——把这篇的账本拿去对着报价单核一遍，能帮你省下不少冤枉钱。

本文配置与价格参考自一万网络官网公开页面（人工定制 GPU、AI 算力云、H100 方案、裸金属服务器等），具体以签约时最新报价与合同为准。