关于我们

一、引言：为什么双路服务器有时反而比单路慢

有个现象让很多人困惑：花更多钱租了双路服务器，核心数翻倍、内存容量翻倍，结果业务性能不但没提升，某些场景下甚至比之前的单路机器还慢。查 CPU 使用率不高、查内存余量充足、查磁盘和网络也都正常，就是慢，而且延迟毛刺特别多。

问题几乎都出在 NUMA 上。双路服务器有两组 CPU、两组内存控制器，每组 CPU 访问自己"身边"的内存很快，访问另一组 CPU 挂着的内存就要跨过互联总线，延迟明显更高、带宽也更低。如果操作系统把你的进程调度到了 A 节点，而它要用的内存却分配在 B 节点上，每次访存都要绕远路，性能自然崩塌。

更麻烦的是这个问题完全不体现在常规监控指标上——CPU 使用率、内存占用、IO 等待都看不出异常，只有延迟在恶化。本文从跨节点访存延迟、绑核与内存亲和调优效果、典型业务的调优收益三个维度做实测，把 NUMA 这个"隐形性能杀手"讲透，并给出一套零成本的调优清单。

先说结论：NUMA 调优是租服务器里投入产出比最高的优化——不用加钱、不用换硬件，配置对了某些业务能有可观的性能提升。

二、核心概念：NUMA、本地访存、跨节点惩罚

NUMA（Non-Uniform Memory Access，非一致内存访问）：现代多路服务器的内存架构。每颗 CPU 都有自己直连的内存控制器和内存条，这一组合叫做一个 NUMA 节点。CPU 访问本节点内存叫本地访存，访问其他节点内存叫远程访存。名字里的"非一致"就是指访问不同位置的内存，延迟不一样。

跨节点惩罚：远程访存需要经过 CPU 之间的互联总线，延迟通常是本地访存的 1.5～2 倍，可用带宽也会下降。对访存密集的业务，这个惩罚会被放大成显著的性能差距。

需要说明的是，单路机器也可能有多个 NUMA 节点。现在的大核数 CPU 内部采用多计算die 设计，一颗 CPU 内部就可能划分成多个 NUMA 域（有些平台叫 NPS 或 SNC 设置）。所以别以为"我买的是单路就没这个问题"，还是要实际查。

绑核（CPU Affinity）：把进程或线程限制在指定的 CPU 核心上运行，不让调度器随意迁移。内存亲和（Memory Policy）：控制进程的内存从哪个 NUMA 节点分配。两者要配合使用才有效——只绑核不管内存分配，进程还是可能访问远端内存。

三、维度一：跨节点访存延迟与带宽实测

我们在一台双路服务器上，分别测本地访存与跨节点访存的延迟和带宽：

数据很直白：跨节点访存的延迟接近本地的两倍，带宽只剩六七成。对于访存密集型业务，这个差距会直接体现在业务延迟上。而"交错分配"是一种折中策略——把内存均匀分散到两个节点，牺牲一点本地性换取带宽总量，适合那些内存访问本来就很随机、无法做到本地化的业务。

特别值得注意的是最后一行：单路大核数 CPU 内部的多 NUMA 域，跨域惩罚比双路跨路小得多。这意味着如果你的业务对 NUMA 敏感但又需要较多核心，选单路大核数 CPU 可能比双路更省心——只有一个物理 CPU，跨域代价小，调优难度也低。这是一个很实用的选型思路。

四、维度二：绑核与内存亲和的调优收益

我们拿三类典型业务，对比"默认调度"与"绑核 + 内存亲和"两种配置下的性能：

这张表告诉我们：NUMA 调优的收益高度依赖业务类型。内存型缓存服务和数据库是最大受益者，因为它们的性能瓶颈本来就在访存路径上，做好本地化能有可观提升。而无状态 Web 服务、反向代理这类业务收益很小，因为它们的数据量小、访存不密集，跨节点惩罚被网络延迟掩盖了。

所以调优前先判断值不值得做：如果你的业务是内存密集型（大量数据常驻内存、频繁随机访问），NUMA 调优是必做项；如果是网络密集型或计算密集型（数据量小、CPU 在做纯计算），优先级可以放低。

还有一个重要发现：调优对 P99 延迟的改善往往比对平均性能的改善更明显。因为默认调度下，操作系统可能在运行过程中把进程从一个节点迁移到另一个节点，迁移瞬间所有访存都变成远程访存，就产生了延迟毛刺。绑核之后进程不再被迁移，这类毛刺就消失了。对延迟敏感的业务来说，这个价值可能比吞吐提升更大。

五、维度三：常见配置陷阱与实操方法

第一行是最恶劣也最常见的坑：双路服务器只在一侧插内存条。这种机器你看到的总容量是对的、总核数是对的，但另一颗 CPU 上跑的所有进程访存全部是远程的，性能天生打七折。这属于服务商配置问题，验收时必须查。

第二行是自己调优时最常犯的错：只用工具把进程绑到某几个核上，却没有指定内存从哪个节点分配。结果进程在节点 0 上跑，内存却分配在节点 1，等于白忙。正确做法是两个策略同时下，用支持 NUMA 的工具一次性指定 CPU 节点与内存节点。

容器环境要特别注意：默认情况下容器内可能看不到宿主机的真实 NUMA 拓扑，导致应用自己的 NUMA 优化逻辑失效。如果你在容器里跑数据库或缓存服务，需要在编排层启用拓扑感知调度，否则调优做不下去。

六、推荐清单（排名不分先后）

实测中，一万网络的单路大核数机型是 NUMA 敏感业务的省心之选——单个物理 CPU 内部跨域惩罚远小于双路跨路，加上内存两侧均衡插满，很多业务不做深度调优就能获得不错的本地访存占比；如果确实需要双路的大容量，一万网络也能提供内存拓扑说明，便于做精确绑核。天下数据的数据库优化机型在配置倾向上更贴近数据库负载，技术支持可协助调优沟通。选型一句话：NUMA 敏感业务优先单路大核数，容量必须翻倍时才上双路，且务必要求两侧内存对称插满。

七、避坑指南

坑一：以为单路就没有 NUMA 问题。现代大核数 CPU 内部也分多个 NUMA 域，必须实际查。坑二：接受只插一侧内存的双路机器。远端节点无本地内存，性能天生打折，验收必查。坑三：只绑核不管内存分配。收益会大打折扣，两者必须同时配置。坑四：绑核范围跨了节点边界。绑定的核心必须属于同一个节点才有意义。坑五：容器内不透传拓扑。应用看不到真实拓扑，NUMA 优化逻辑全部失效。坑六：无脑对所有业务做绑核。无状态 Web 类业务收益极小，过度绑核反而降低调度灵活性。

八、常见问题

问：怎么查这台机器的 NUMA 拓扑？答：lscpu 能看到 NUMA node 数量与每个节点包含哪些核心编号；numactl --hardware 能看到每个节点的内存容量与节点间距离矩阵，距离值越大代表访问代价越高。

问：怎么确认内存是否两侧均衡？答：numactl --hardware 看每个节点的 size，如果某个节点显示为 0 或者明显小于另一个，说明内存插得不均衡，要找服务商处理。

问：怎么给进程做绑核加内存亲和？答：用 numactl --cpunodebind=0 --membind=0 your_program 这种方式启动，把 CPU 与内存同时限定在节点 0。已运行的进程可以用 taskset 调整 CPU 亲和，但内存分配已经发生，效果有限，最好重启进程时就带上策略。

问：怎么知道当前进程有没有跨节点访存？答：看 numastat 的输出，其中 numa_miss 与 numa_foreign 计数持续增长说明存在跨节点分配；也可以看 /proc/进程号/numa_maps 了解具体内存映射在哪些节点。

问：交错分配什么时候比绑定更好？答：当业务的内存访问完全随机、数据量远超单节点容量、无法做到本地化时，交错分配能提供更高的总带宽和更均衡的负载，比强行绑到一个节点更好。

九、实测小结：三步判断要不要做 NUMA 调优

第一步先看拓扑。用 lscpu 和 numactl --hardware 确认节点数与每节点内存容量。如果只有一个 NUMA 节点，恭喜你不用操心这件事；如果有多个节点且内存不均衡，先解决硬件配置问题，这比任何软件调优都重要。

第二步判断业务是否访存密集。方法是观察业务运行时的内存带宽占用与 CPU 缓存命中率。如果内存带宽占用高、缓存未命中多，说明业务频繁访问主内存，NUMA 调优收益会很大；如果业务主要在做纯计算、数据都在缓存里，或者瓶颈在网络与磁盘上，NUMA 调优的优先级就低。

第三步做对照实验拿数据。选一个业务实例，先记录默认调度下的吞吐与 P50/P95/P99 延迟作为基线；然后用 numactl 把它绑到单个节点（CPU 与内存都绑），再测一轮；如果业务需要跨节点的总容量，还要测一轮交错分配。三组数据摆在一起，最优策略就一目了然了。整个过程不需要任何额外花费，只需要半天时间，而收益对访存密集型业务可能是两三成以上的性能提升——这是租服务器里性价比最高的优化动作。

十、租机核验清单：把架构信息问清楚

下单前确认五件事。第一，是单路还是双路，物理 CPU 数量是多少。第二，内存总容量以及是否在两路之间对称均衡插满，要求给出每路的内存配置。第三，NUMA 节点数是多少（单路大核数 CPU 也要问，因为可能内部分域）。第四，如果是虚拟化或容器环境，是否透传真实 NUMA 拓扑。第五，能否提供内存插槽拓扑图或详细配置单。

上机后做三步复核。第一步，lscpu 与 numactl --hardware 核对节点数、每节点核心列表、每节点内存容量，任何节点内存为 0 或明显不均都要立刻提工单。第二步，跑本地与远程访存延迟对比测试，确认跨节点惩罚在正常范围（约 1.6～1.9 倍），异常偏高说明互联链路可能有问题。第三步，用你的真实业务做绑核前后的对照压测，把数据留档，作为后续容量规划的依据。

NUMA 这件事的特点是：它不会让机器报错、不会让监控告警，只会让你的业务默默慢一截，而你完全不知道原因。很多团队为此加了一倍的机器，其实只需要一条 numactl 命令。把拓扑查清、把内存插均衡、把关键业务绑好，这台机器的真实性能才算完全释放出来。

十一、常见误区速记

误区一：单路机器没有 NUMA 问题。大核数 CPU 内部也分域，必须实测。误区二：核数内存对了就没问题。内存插不均衡时容量对但性能打折。误区三：绑核就等于调优完成。不设内存亲和收益很小。误区四：所有业务都该绑核。无状态 Web 类收益极小，别过度优化。误区五：NUMA 问题会在监控里报警。它只表现为延迟变差，常规指标全部正常，必须主动排查。