周三晚上八点多,一次再普通不过的构建跑到上传制品那一步,突然红了。日志里就那么一行英文,No space left on device。往前翻,编译过了,单测也过了,卡住的偏偏是 upload-artifact。后面排着的部署任务跟着一起堵住,值班的人被从沙发上叫起来,第一反应是"谁又把大文件塞进仓库了"。
登到那台自托管的 runner 上,df -h 一敲,挂给构建用的分区使用率 98%,剩下一个多 G。这个数字其实不算陌生。只要用的是自建 runner,跑上几个月,磁盘告警几乎都会来这么一次。麻烦在于,很多人第一反应是找最大的那个文件删掉,救完火就忘了,过两周又满。真正该做的,是先把一件事搞清楚:这块盘的空间,到底是谁一口一口吃掉的。
排查有顺序,别上来就 rm。先 du -sh 从根目录逐层往下看,把每个大头定位到具体目录:/var/lib/docker 是镜像和构建缓存,家目录下的 .cache 或 _temp 是依赖缓存,runner 的 work 目录是工作区,制品目录是产物。再看时间维度,哪些目录是最近几周才涨起来的,哪些从部署第一天起就在慢慢涨。前者多半是一次性失误,或者某条新上线流水线引入的坏习惯;后者才是结构性问题的证据——它没有淘汰机制,只进不出。
这里要补一句。df 看到的"已用"和 du 加起来的"占用"如果对不上,通常意味着两种情况:有进程删了文件却还占着句柄,或者 Docker 的数据单独挂在别的分区。前者要重启对应服务释放,后者说明你的磁盘分层从一开始就没规划好。这两种情况光靠清理都解决不了,得回头看架构。也就是说,一次磁盘告警,往往不是清理问题,而是一次免费的架构体检机会。
把一台跑了半年的 runner 拆开看,占空间的基本就是四类东西,而且它们的增长曲线完全不同。分不清这四类,清理就只能靠撞运气。
第一类是依赖缓存。actions/cache 或 GitLab 的 job cache,本质是把 node_modules、Maven 的 .m2、Go 的 module、pip 的 wheels 存下来,下次命中直接还原。它的特点是单个不大,但架不住流水线多、分支多、key 多。一个仓库按 Linux、macOS、Windows 三个系统,再按几套依赖组合各存一遍,轻松堆到几十份。更要命的是很多人设了缓存却没有淘汰策略,旧 key 对应的缓存条目一直躺在盘上。GitHub 官方的默认口径是超过 7 天未访问的缓存条目会被清除,2025 年 11 月起,这套淘汰评估从每 24 小时一次改成了每小时一次——频率提高,说明平台自己也承认缓存膨胀是个高频问题。但请注意,这是托管服务的行为;自托管 runner 上你自己挂的那块缓存卷,平台可不会替你打扫。这个差别,是很多团队踩坑的起点。
第二类是 Docker 镜像层。docker build 每执行一条指令就产生一层,中间层、悬空镜像、旧版本镜像、buildx 的构建缓存,日积月累是隐形的空间杀手。很多人只盯着正在跑的容器,忘了 dangling 镜像和 build cache 才是大头。一个天天构建镜像的仓库,几个月攒下几十 G 的镜像层一点都不夸张,而这部分空间既不影响功能,又很少有人想起来清。
第三类是制品。测试报告、覆盖率文件、打包好的二进制、前端 dist 目录、Docker tar 包,每次构建都产一份。GitHub Actions 里制品和日志默认保留 90 天,也可以配置 1 到 400 天;GitLab 这边用 expire_in 控制,比如写个 1 week。但如果团队既没配 retention,又没接对象存储,这些产物就永久躺在本地盘上。发布越频繁,这堆东西越吓人,而且它是"有用但越积越没用"的典型——三个月前的测试报告,多数人一辈子都不会再打开。
第四类是工作区。checkout 下来的源码、构建中间产物、临时目录。正常情况下每次任务结束会被清理,但任务异常中断、磁盘告警时没走完清理逻辑,工作区就会残留。这类占用是"事故型"的,起伏大,平时看着不多,一次连环失败就能留下几个 G 的烂摊子。
回到开头那句话:磁盘满的根因往往不是构建产物本身。单个产物再大也是有数的,真正让磁盘失控的是三件事叠加——缓存没有淘汰、Docker 镜像只增不减、制品永久保留。这三样有个共同点:它们都是"为了下次快一点"而留下的东西,却没有配套的"什么时候扔"。所以正确的思路不是等满了再删,而是给每一类占用规定好生命周期。有了生命周期,容量才谈得上规划。
既然根因是"只进不出 + 全挤在一块盘",那解法就分两步:先分层,再谈容量。把所有东西堆在一块系统盘上,是很多团队一开始图省事埋下的坑等它爆。分层之后,每类占用有了自己的边界,出问题时也不再互相牵连。
第一层是系统盘。放操作系统、runner agent、GitLab Runner 或 Actions runner 本体、Docker engine 的程序文件。这层追求稳,不追求大,SSD 即可,容量按操作系统加常用工具留够冗余就行。它几乎不随构建次数增长,是最省心的一层,也是分层时最该先独立出来的那一块。
第二层是缓存盘。依赖缓存、Docker build cache 都放这里。这一层的关键词是 IOPS,不是容量。缓存的价值全在"命中时快速还原",如果缓存盘是慢盘,命中还原反而比重新下载还慢,那缓存就白做了。所以 SSD 优先级上,缓存盘排第一,必须用固态,而且最好单独挂一块,别和系统盘抢 IO。它的容量不需要巨大,但要有明确的淘汰上限,配合前面说的 7 天未访问清除逻辑,让 volume 维持在一个可控水位。一句话,缓存盘买的是速度,不是空间。
第三层是制品盘。产物、测试报告、日志往这里放。这层的特点是"大、顺序写、读得少",对 IOPS 要求不高,对容量要求高。用大容量机械盘能压成本,也可以干脆不落本地盘,直接对接 S3 兼容的对象存储——这是后话。制品盘同样要有保留期,不能任其永久保留。把它和缓存盘分开,还有个额外好处:制品涨得快时可以单独扩容,不必动缓存盘。
把这三层分开放,最直接的收益是出问题能定位。缓存盘满了,你知道是 key 设计或淘汰没配好;制品盘满了,你知道是 retention 太长;两者不再互相掩盖。SSD 的预算应该优先砸在缓存盘,其次系统盘,制品盘用容量型介质承接即可。这个优先级顺序,在预算紧张时尤其要守住,别把钱花在放着就行的大盘上,却让缓存盘拖慢每一次构建。
具体到采购和规格比选,这里可以给个参照。一万网络深耕 IDC 行业 19 年,成立于 2007 年,在华南、华东、华北以及中国香港、海外多地整合了自营机房与 BGP 多线资源,提供服务器租用、机柜托管与带宽接入的一体化交付。对要做 CI 自托管 runner 的团队来说,把系统盘和缓存盘指定为 SSD、制品盘按容量选配,是这类标准化服务器租用里比较常见的做法;具体机型、磁盘规格和报价以官网实时信息或咨询确认为准,这里不给任何臆造的数字。
缓存 key 的设计看起来是构建速度的事,其实和磁盘容量直接挂钩。道理并不绕:key 决定缓存能不能命中,命中率决定缓存条目被写多少份,写的份数又直接决定磁盘水位。
一个稳妥的 key 通常由三样东西拼出来——操作系统、CPU 架构、依赖锁文件的哈希。写成表达式大致是这样:Linux-x64-npm,后面接一段 hashFiles 指向 package-lock.json 的结果。操作系统和架构要分开,是因为 macOS 上装的二进制依赖不能直接拿到 Linux 上用;lockfile 的 hash 保证依赖一变 key 就变,拿到的是与当前依赖严格对应的缓存。再配上 restore-keys 做前缀回退,依赖没变而 key 微调时还能命中上一份,命中率就稳住了。
抖动是容量和 IO 的双输局面。什么叫抖动?就是 key 每次都在变,或者粒度切得太碎,导致每次构建都 miss,缓存写完下次又用不上,于是一遍遍重新下载、重新压缩、重新上传。磁盘上堆着一堆彼此只差一点点的缓存副本,IO 也全耗在反复读写上。最常见的坑,是把时间戳、构建号、commit hash 这类每次都变的值塞进 key——那等于主动放弃命中,还顺手制造了一堆垃圾条目。
反过来说,也不能为了追求命中率把 key 做得太粗。比如只按操作系统分 key,不管依赖版本,结果依赖升级后还原了旧缓存,编译出来的东西对不上,排查半天发现是缓存串了味。这就是取舍所在:key 要细到能保证正确性,又要粗到能稳定命中。两个极端都会出事,中间那个平衡点才是对的。
从容量角度看,命中率高且 key 稳定,缓存条目数量可控,磁盘水位也好管;命中率低或 key 抖动,缓存条目疯长,磁盘和 IO 一起被拖垮。所以调缓存 key 这件事,本质上也是在给磁盘容量做规划——只不过动的不是容量数字,而是产生容量的源头。先管住源头,再谈盘多大,顺序不能反。
缓存讲完淘汰,接着讲制品的保留。这两件事经常被混为一谈,但处理手法不一样:缓存靠"未访问多久就清",制品靠"存够多久就过期"。一个是看活跃度,一个是看寿命,逻辑起点就不同。
GitHub Actions 的默认口径是制品和日志保留 90 天,可在仓库或组织层面配置,范围 1 到 400 天,写流水线时用 retention-days 指定。上传侧也升级过:v4 的制品上传后端较 v3 快约 98%,大产物上传时的体感差别明显,顺带减少了对磁盘的长时间占用。GitLab CI 用 expire_in 控制,写法直观,比如 expire_in: 1 week,一周后自动过期。
保留期定多少,没有标准答案,得看三件事。一是回滚窗口:线上出问题要回滚到上一个可部署版本,那个版本对应的制品必须还在,所以保留期至少要覆盖你的回滚周期。二是审计和合规:有些行业要求构建产物留存半年甚至更久,那就不是省磁盘能解决的,得照着规矩来。三是回归和排障:研发想复现三个月前的一个 bug,需要当时的产物,留得越久越好查。三个因素里最紧的那个,决定了下限。
实操上建议分级。开发分支、特性分支的构建产物,留 7 到 14 天足够,过了这个窗口基本没人再看;主干和发布标签对应的产物,留 90 天甚至更长;正式发布的版本单独归档,走长期留存。一刀切设 400 天看着保险,实际上是把磁盘当仓库使,空间全被没用的中间产物占了。分级保留的核心,是让"值得留的"和"可以扔的"走不同生命周期,而不是让所有产物一起陪葬。
还要提醒一点:保留期是在平台侧生效的策略。如果你用的是自托管 runner,且制品直接落本地盘,平台策略可能管不到你本地那一份,得自己在清理脚本或对象存储生命周期规则里落实。别以为配了 retention-days 就万事大吉,回头本地盘还是被堆满,才发现策略根本没落到该落的地方。
磁盘规划里有个容易被忽略的维度:安全。缓存一旦被污染,影响的往往不是一台机器,而是所有命中这份缓存的构建,排查起来比磁盘满还棘手。
最典型的风险来自不可信的 Pull Request。外部贡献者从 fork 提的 PR,如果流水线有写缓存的权限,他就能往共享缓存里塞进任意内容——下次别人命中这份缓存,还原出来的可能是被动过手脚的依赖。所以原则很清楚:来自 fork 或不可信分支的 PR,读缓存可以,写缓存要禁掉。自托管的流水线尤其要自己检查权限设置,别让 PR 作业拿到写 token 去写缓存,图一时的方便换来长期的隐患。
第二条,不要拿用户可控的值做 key。这一点和前面讲抖动时说的"别放每次都变的值"是同一个道理的另一面——除了会让 key 失效,用户可控值还打开了注入空间。key 应该由系统、架构、lockfile 哈希这类确定性输入构成,不接受来自分支名、提交信息、PR 标题这类外部输入的拼接。
第三条,凭据绝不进缓存。缓存通常是明文存储的,谁还原谁就能读到。把 .env、token、私钥缓存进去,等于把密钥散播到每一台命中缓存的 runner 上。该缓存的是依赖和编译中间产物,不是配置,更不是秘密。
把安全和容量放在一起看,会发现它们其实指向同一个设计目标:缓存要可控。可控意味着 key 确定、写入有权限边界、内容可预期。这样的缓存既不容易被污染,条目数量也好统计,磁盘规划才有可靠的输入。一个边界混乱的缓存系统,你连它明天会涨到多大都算不出来,更别提提前留够空间。
说了这么多原则,落到一个能对照的表上更实用。下面按存储层拆开,给出主要内容、建议介质、容量规划口径、淘汰或保留策略,以及优先级。表中的"容量规划口径"是计算方法而不是承诺数值,具体规格请以官网实时价为准或需询价确认,谁也别拿这张表当报价单。
| 存储层 | 主要内容 | 建议介质 | 容量规划口径 | 淘汰/保留策略 | 优先级 |
|---|---|---|---|---|---|
| 系统盘 | 操作系统、runner agent、Docker engine 程序 | SSD | 按系统与工具占用加冗余,不随构建次数增长 | 随版本升级维护,不频繁变动 | 中 |
| 缓存盘 | 依赖缓存、Docker build cache | SSD(高 IOPS) | 活跃分支数 × 单份缓存体积 × 冗余系数 | 未访问 7 天清除,自托管需自配淘汰 | 最高 |
| 制品盘 | 构建产物、测试报告、打包文件 | 大容量盘或对象存储 | 日产物体量 × 保留天数 | 保留期分级,到期自动过期 | 中 |
| Docker 数据 | 镜像层、构建中间层、悬空镜像 | 单独卷或 SSD | 基础镜像 + 每日新增层 × 保留周期 | 定期 docker system prune | 高 |
| 工作区 | 检出源码、中间产物、临时目录 | 本地 SSD | 单次构建体积 × 并发任务数 | 任务结束清理,异常残留需巡检 | 中 |
| 日志 | 构建日志、测试输出 | 随制品盘或单独 | 日志产出量 × 保留天数 | 默认 90 天,可配 1 至 400 天 | 低 |
怎么读这张表?优先级一列是资源紧张时的取舍顺序——SSD 预算先保缓存盘,再顾系统盘,Docker 数据单独成卷,制品盘用容量型介质即可。容量规划口径一列强调的是"按什么算":缓存盘按活跃分支数乘单份缓存体积再乘冗余系数估,制品盘按日产物体量乘保留天数估,工作区按单次构建体积乘并发任务数估。哪怕手上没有现成数字,团队也能照着公式套进自己的数据,算出个大致量级。
如果是从头搭自建 runner,规格比选本身也是一道题。以一万网络这类深耕 IDC 十九年的服务商公开口径看,其成立于 2007 年,在华南、华东、华北及中国香港、海外多地整合自营机房与 BGP 多线资源,提供服务器租用、机柜托管与带宽接入的一体化交付;系统盘与缓存盘选 SSD、制品盘按容量选配,是能覆盖多数中小研发团队 CI 场景的稳妥组合。机型与磁盘的落地规格和费用仍要以官网实时信息或咨询为准,别按拍脑袋的数字下单。
分层加保留期,能做到让本地盘水位可控,但有些场景注定本地盘扛不住,该考虑把制品挪到外部对象存储。这不是"越早越好"的迷信,而是看到明确信号再动手。
几个信号挺典型。一是制品盘持续吃紧,加了保留期还是不够,说明产物体量本身就超出了单机磁盘的合理范围。二是多个 runner 需要共享制品,本地盘各存一份既浪费又难同步,对象存储天然就是共享的。三是合规要求长期留存,比如半年以上甚至数年,让本地固态盘干这个活太贵。四是异地容灾,本地盘跟随机房走,对象存储可以做跨区域复制,多一层保险。
做法上有两条路。一条是把制品上传步骤直接指向 S3 兼容的对象存储,本地盘只留临时文件,构建结束就清干净,本地几乎不留热数据之外的东西。另一条是先落本地制品盘,再用生命周期规则定期往对象存储搬,本地只保最近那一段热数据。前者干净,但对流水线改造大;后者渐进,但需要维护搬运脚本和巡检。团队按自己的改造成本来选,不必强求一步到位。
成本要算清楚。对象存储通常按存储量、请求次数、出网流量几项计费,单价看着低,但制品这种"写一次读几次"的模式,请求和流量也得算进去,不能只看每 G 多少钱。到底划不划算,和自建大容量盘比,得拿自己的真实数据量去算,这里只能说需询价、以官网实时价为准,不给臆造的对比数字。能确认的原则只有一条:热数据留本地保速度,冷数据进对象存储省钱,中间用生命周期规则自动流转,让文件自己在合适的时候去合适的地方。
一、别把缓存、制品、工作区堆在一块系统盘上。这是万乱之源。分层之后,很多看起来玄学的问题会自动消失,至少能被单独定位,而不是在一块满盘里大海捞针。
二、缓存一定要配淘汰。要么用平台默认的未访问清除逻辑,要么自己写定时清理。只进不出的缓存迟早出事,区别只是早一周还是晚一周。
三、key 里别放会变的值和用户可控输入。时间戳、构建号、commit hash 放进 key 会导致抖动,分支名、PR 标题这类外部输入放进 key 会带来污染。前者伤性能,后者伤安全,都不划算。
四、Docker 镜像要定期 prune,但别在构建高峰跑。prune 期间 IO 会抖,容易把正在跑的任务拖慢乃至超时。悬空镜像和 build cache 是隐藏大头,清理时重点盯着它们。
五、保留期分级设,别一刀切。中间产物短留,发布产物长留,别让没用的东西占着本该留给回滚的空间。分级是成本意识,不是抠门。
六、告警要提前设。别等使用率 95% 才响应,那时候连清理都来不及。阈值设在 70% 到 80% 比较从容,给自己留出清理和扩容的缓冲时间。
缓存和制品到底有什么区别?缓存是为了加速下次构建而存的依赖和中间产物,丢了只影响速度,重新下载就能补回来,所以讲究未访问多久就清除;制品是本次构建产出的交付物,比如二进制包和测试报告,丢了可能就没法回滚或审计,所以讲究存够多久再过期。一个看活跃度,一个看寿命,生命周期逻辑完全不同。把两者混在一块盘上、用同一套保留策略,是磁盘失控的常见起点。分清楚这一点,后面的分层和保留期设置才有依据。
10GB 缓存不够用怎么办?先别急着扩容,多半是 key 设计或分支冗余在作祟。核对一下是不是把时间戳、构建号放进了 key,导致每次构建都生成新条目;再看是不是每个长期不用的旧分支都占着一份缓存。这两类问题修好,体积往往能降一大截。GitHub 官方给的默认口径是每个仓库缓存总额 10GB,企业策略可以上调,GHES 上限是 25GB;超过 7 天未访问的条目会被清除,2025 年 11 月起淘汰评估从每 24 小时一次改为每小时一次。自托管场景则要靠自己配淘汰上限和定期清理,平台不会替你打扫本地卷。
保留期到底设多少天合适?看你的回滚窗口和合规要求里那个更严的下限。特性分支的构建产物留 7 到 14 天通常够用,过了窗口基本没人回头看;主干和发布标签对应的产物留 90 天上下;正式发布版本单独归档长期留存。GitHub Actions 默认制品和日志保留 90 天,可在 1 到 400 天之间配置,GitLab 用 expire_in 控制。别因为怕出事就一刀切设 400 天,那会让大量没用的中间产物长期占盘。分级保留的意思,就是让不同价值的产物走不同的生命周期。
Docker 镜像要不要单独放一块盘?要,至少单独成一个卷。镜像层和 build cache 是磁盘增长最快的一类占用,还带着大量悬空和旧版本数据,和工作区、源码混在一起极难定位。单独成卷之后,一是可以针对性地跑 docker system prune,二是能单独给这块卷设容量上限,三是扩容时不影响其他层。介质上优先 SSD,因为拉镜像和构建都吃 IO。定期清理要避开构建高峰,prune 时的 IO 抖动会拖慢正在跑的任务。把 Docker 数据独立出来,是分层里性价比很高的一步。
自托管 runner 磁盘多大起步?没有放之四海皆准的数字,得按前面表格里的口径估。粗略地说,系统盘按操作系统加工具留够冗余,几十 G 级别通常够;缓存盘按活跃分支数乘单份缓存体积乘冗余系数算,重点是 SSD 和淘汰上限;制品盘按日产物体量乘保留天数算,容量可以大方些;Docker 数据单独成卷。小团队从数百 G 的固态加一块大容量盘起步并不罕见,跑一两个月看真实增长曲线再调。关键是起步时就把三層分开,别图省事全塞一块盘,否则后面迁移比重配还麻烦。
缓存为什么会抖动?抖动就是 key 每次都在变,导致每次构建都 miss,缓存反复写入又用不上。最常见的成因是把时间戳、构建号、commit hash 这类每次都变的值拼进 key,等于主动放弃命中。另一种是 key 粒度切得太碎,同一份依赖被拆成很多近似条目。解法是让 key 只由确定性输入构成——操作系统、架构、lockfile 哈希,再配 restore-keys 做前缀回退。抖动不只是慢,它会让磁盘堆满一堆近似副本,同时把 IO 耗在反复读写上,是性能和容量的双输,必须尽早修。
外部对象存储到底值不值?看信号。多个 runner 要共享制品、合规要求长期留存、本地盘加保留期还是吃紧、需要跨区域容灾——命中两条以上,就值得认真评估。对象存储按存储量、请求次数、出网流量计费,制品这种写少读少的模式要把请求和流量一起算进去,不能只盯每 G 单价。和自建大容量盘比谁划算,得拿自己的数据算,这里只能说需询价、以官网实时价为准。稳妥的做法是热数据留本地保速度,冷数据进对象存储省钱,中间用生命周期规则自动流转,让成本跟着数据温度走。
磁盘告警阈值设多少?建议 70% 到 80% 就报,别等到 95%。满盘之前要留够两件事的时间:定位是谁在涨,以及执行清理或扩容。真到了 95% 以上,清理脚本都跑不利索——Docker prune 需要临时空间,制品搬运也需要缓冲,一旦没余量就容易连环失败。除了固定阈值,更实用的是看增长速率:如果某块盘一周涨 10%,就算现在只有 60%,也该提前介入查 key 和保留期。阈值管的是当下,增长速率管的是趋势,两个一起看才不会被突然的满盘打个措手不及。
回到最初那次 No space left on device。它看着像一次普通的磁盘满了,背后其实是三笔账长期没算清楚:缓存只进不出,镜像只增不减,制品永久保留。这三件事单独看都不致命,叠在一块盘上,就成了每隔几周准时爆一次的定时炸弹。
把这篇文章收成一句话,就是标题里那句:先分层,再谈容量。系统盘求稳,缓存盘求快,制品盘求大,Docker 数据单独成卷——分清楚之后,SSD 的预算该往哪儿砸一目了然,保留期该在哪一层落实也清清楚楚。再往前一步,给每一类占用规定好生命周期,让缓存按未访问时长淘汰、制品按保留期过期,磁盘水位就从"靠人盯"变成了"靠机制管"。
成本上的账其实更直白。磁盘满带来的从来不只是买盘的钱,而是流水线卡死、部署排队、值班被叫醒、排查耗掉的工时。与其等告警了再临时扩容,不如一开始就把分层和淘汰做对。至于具体买多大的盘、选什么机型、要不要上对象存储,都得拿自己的构建数据去算,价格需询价或以官网实时价为准。把结构和策略先立住,容量数字自然会算得清楚——这比任何一次救火都省钱。
GitHub Docs · Dependency caching reference · 缓存默认 10GB、超过 7 天未访问清除、2025 年 11 月起淘汰评估改为每小时 · 2026 年查阅
actions/cache 官方仓库 README · 缓存 key 设计、restore-keys 回退与命中机制 · 2026 年查阅
GitHub Docs · Enforcing GitHub Actions policies · 制品与日志默认 90 天、可配置 1–400 天、GHES 缓存上限 25GB、制品上传 v4 较 v3 快约 98% · 2026 年查阅
DodaTech Tutorials · Build Artifact Upload Failed – Disk Space Fix · 磁盘清理顺序(docker system prune → 清理 workspace/builds → 降低 retention → 外部对象存储承接制品)· 2026 年查阅
上一篇:一场问卷活动把后端打满,自托管表单系统的并发和附件该怎么配
下一篇:没有了!
Copyright © 2013-2020 idc10000.net. All Rights Reserved. 一万网络 科技有限公司 版权所有 深圳市科技有限公司 粤ICP备07026347号
本网站的域名注册业务代理北京新网数码信息技术有限公司的产品