订阅者名册只有几万人,一封常规周报从点击发送到全部投递完成,拖掉了大半个白天;第二天再登录发信服务,发现账号的每小时额度已经被压了下来,原本排好的月度通讯只能拆成几天补发。运营同学下意识的反应是加 CPU、加内存,把后台页面所在的机器升一档。这种直觉很常见,也很容易落空——真正卡住投递的,往往不是那个看得见的后台页面。
把 Listmonk 当成"一个网页加一个数据库"来理解,扩容就会一直打偏。它确实被打包成单个可执行文件,运行时需要的关系数据库也不算多,但发信这件事牵扯的是几条彼此独立的链路:队列Workers 从库里取人、渲染模板、提交给上游发信服务;退信和投诉再从邮箱或回调涌回来,写回同一套数据库。任何一环收紧,整批通讯都会被拉长。
这篇文字按一条故障排查的路线写:先看清现象落在哪一层,再拆开队列、数据库与退信处理各自消耗什么资源,然后给出容量估算的办法和一张示例配置表,接着谈发信链路上的速率与域名信誉,收尾算清自建与第三方的成本边界,把容易踩的坑单拎出来。价格不写死,涉及采购的一律以官网实时信息或询价为准。
先把"点击发送"这个动作拆开。管理界面是前端框架做出来的页面,它负责建列表、写活动、看报表;点下发送按钮时,它并没有亲自投递任何一封邮件,只是把一条活动记录写进数据库,并把后台的发送Workers 唤醒。从这个角度说,界面打开得快不快,和通讯发得完不完,是两件不同的事。
真正干活的是那个单二进制程序。它按多线程方式维护发信队列,可以挂多个发信通道,每个Worker 拿出一批订阅者,套上活动模板,把成形的邮件交给上游。官方资料里反复提到它带有吞吐控制和滑动窗口限速,这两项参数直接决定了"一天能发多少"。界面卡一下,多半是查询订阅者表时扫了过多记录;通讯发半天,则几乎总是队列吞吐、上游配额或数据库查询三者之一出了问题。
判断该往哪看,有几个很朴素的观察点。队列深度长时间不下降,说明取件或投递某一端堵住了;上游连续返回暂退响应,说明发得太快、被对面按住了;数据库慢查询日志里反复出现针对订阅者的分段筛选,说明索引或分段写法有问题。只看页面上的百分比进度,很容易把"卡住"误判成"机器不够"。官方资料描述过单二进制在小资源占用下完成很大规模投递的情形,但那是在列表干净、上游畅通、模板轻量的前提下。把这类描述直接当成自己的容量承诺,是扩容判断里最普遍的误读。
所以核心判断可以提前摆出来:这类发信后端的瓶颈通常落在关系数据库与发送队列上,而不是 Web 管理界面。处置顺序也该反过来——先把队列参数、退信处理和分段查询理顺,再考虑堆 CPU。机器升档能解决渲染慢的问题,解决不了上游每天只肯收你多少封的限制。
还有一个常被忽略的细节:队列里"一次读多少人"和"每秒发多少封"不是同一个参数。批量读取只决定Workers 从数据库里一次取多少订阅者,吞吐与限速才决定实际投递节奏。把批量值调大并不能突破上游的速率上限,反而会让每批查询更重、失败重试的代价更高。分清这两个概念,后面的调参才不会互相打架。
队列吃的是连接和等待。每个发信Workers 都持有到上游的会话,网络往返期间它占着一条连接,却不怎么消耗 CPU。Workers 开得太少,队列积压;开得太多,可能撞上上游的并发连接上限,或者被判为异常突发。合理的做法是从上游给的并发额度倒推Workers 数,再用滑动窗口把日总量卡在上限以内,让大批活动自然摊到几天,而不是发到一半被掐断。
关系数据库吃的是读写和磁盘。订阅者、列表、活动记录、投递日志、退信记录、跟踪事件都落在这里。分段条件是用表达式写在订阅者表上的,筛"最近三十天活跃且带某个标签的人",本质是带条件的查询。数据量上来以后,深翻页、缺少合适索引、把条件写得很绕,都会让每次取件变慢,进而拖住队列。连接池的打开连接数、空闲连接数和存活时长也要跟着调,连接过多会互相争抢,过少则Workers 排队等连接。
打开和点击跟踪是隐形的写入源。每发生一次打开或点击,都要往库里追加一条事件。名单大、活动密、又开了跟踪,这类写入压力会迅速盖过投递本身。分段越依赖这些事件,查询越重。这不是说跟踪不能用,而是要把它的成本算进容量里:可以按活动启停,也可以只保留汇总口径,避免让明细事件无限膨胀。
退信处理吃的是分类和入库。开启后,程序要么扫描一个专门的收信邮箱,要么接收上游推来的回调;它会根据邮件正文里的关键字和状态码,把退信猜成软退信或硬退信,再按配置决定忽略、拉黑还是删除。官方文档提醒,退信邮箱要用专门地址,别拿主力收件箱来充数——因为处理完会把邮件从邮箱里删掉。回调通道则对接了几家常见的发信服务,也有通用接口供自定义脚本投递。
退信一旦放任不管,会形成自我强化的坏循环:无效地址继续收信,继续退回,收件方看到的投诉和退回比例升高,域名信誉下滑,正常邮件也跟着进垃圾箱,于是退回更多。这就是为什么"退信率拉高拖垮发信域名信誉"在自托管场景里不是危言耸听,而是会真实发生的连锁反应。把退信处理从"可选功能"当成"必配环节",比事后补救便宜得多。
把四类资源放在一起看,资源画像就比较清楚了:CPU 主要花在模板渲染和程序运行上,占用不高但会被复杂模板放大;内存在Workers 与连接数增长时线性上升;磁盘随订阅者、日志和跟踪事件单调增长,而且不会自动缩回去;网络本身单封很小,但在高并发连接下对稳定性更敏感。容量规划要盯的是磁盘和数据库连接这两条长期曲线,而不是短期的 CPU 峰值。
只报一个"订阅者人数"没法直接换算配置。同样五万人,一组是每周都打开的活跃读者,另一组是三年没点过的沉默名单,对队列和数据库的压力差出一大截。估算要从三个方向夹逼:上游愿意收多少、名单里真正可投递的有多少、跟踪和分段会把写放大到什么程度。下表按常见规模给出示例配置思路,用来建立量级感觉,不能当成实测数据或采购清单,具体机型、带宽与报价以官网实时信息或询价为准。
| 订阅者规模 | 建议 CPU | 内存 | 数据库磁盘 | 单批发送速率(参考) | 备注 |
|---|---|---|---|---|---|
| 一万以内 | 2 核 | 2–4 GB | 按明细日志与留存周期预留 | 受上游 hourly 额度约束 | 单库即可,模板从简,退信邮箱先配好 |
| 一万至五万 | 2–4 核 | 4 GB | 随订阅者与事件增长预留数倍余量 | 按上游配额设定Workers 与限速 | 检查分段字段索引,跟踪按活动开关 |
| 五万至二十万 | 4 核 | 4–8 GB | 重点预留日志与跟踪事件空间 | 启用滑动窗口,日量卡在上限内 | 队列与页面分离部署,退回分类要自动化 |
| 二十万至五十万 | 4–8 核 | 8 GB 起 | 按留存策略规划并外置备份 | 多通道分流,受各通道配额之和约束 | 关注连接池、慢查询与模板渲染成本 |
| 五十万以上 | 按分段与并发评估 | 按Workers 数评估 | 单独规划数据库实例与备份窗口 | 按名单与投递窗口分批排期 | 拆分队列与名单,评估独立发信通道与信誉维护 |
读这张表要带着几个前提。所谓"参考速率"没有给成固定数字,原因很简单:它取决于上游给的额度,而不是本机性能。名单再干净、机器再强,上游一天只肯收一定数量的话,多出来的只能排队。把额度问清楚,再倒推活动排期,比盯着 CPU 曲线有用得多。
磁盘要按记录条数和留存周期估算。订阅者字段、活动记录、投递结果、打开点击事件都会累加,备份还要再占一份空间。与其纠结"每个订阅者占多少字节"这种没有统一答案的问题,不如先定下日志保留多久、跟踪事件要不要长期存,再去乘上预计的记录总量,留出余量。
规模跨过几十万以后,优化重点会转移。小名单上无所谓的分段写法,到了大表上就是慢查询;小名单上无所谓的每封个性化渲染,到了大批量上就是 CPU 放大器。这个阶段更值得做的是给常用筛选字段补索引、把模板里的重逻辑挪到入库前算好、把发送队列和管理页面拆开部署,让两边互不抢占资源。
自托管的发信程序通常不直接把邮件投递到收件方,而是交给上游发信服务,由对方完成实际投递。这段分工决定了两件事:一是本机的吞吐上限由上游配额决定,二是送达率由发信域名和通道信誉决定。把这两件事混为一谈,就会出现"机器没满但邮件发不出去"的困惑。
端口是绕不过去的现实。部分云服务商默认封锁出站邮件端口,公开文档里就提到过某些服务商的云主机默认拦住相关端口,需要申请解锁且按个案审核;发往外部发信服务的提交端口则通常可用。部署前先确认所在环境的出站策略,选通那条被允许的提交路径,比等通讯发不出去再排查要省事。这里说的只是链路可达性,不涉及任何规避限制的做法。
域名认证是送达的门槛。发信服务会给出SPF 与 DKIM 的 DNS 记录值,前者声明哪些地址有权代表域名发信,后者给邮件加上签名以证明传输途中未被改动。DMARC 则告诉收件方在两者失败时如何处理,并提供报告地址。公开的实践建议先从只观察的策略起步,看一两周汇总报告,搞清楚有哪些来源在用这个域名发信,再逐步收紧策略。少了这几项配置,内容写得再好也会有相当比例落进垃圾箱。
速率设置要和上游额度对齐。Workers 的每连接速率、滑动窗口的时长与上限,共同决定一天实际发出多少。新通道常有预热上限,额度会从较小数值随干净投递天数逐步增长;把窗口上限设成当前额度,大活动就会自动摊到多天,而不是中途停摆。事务邮件若走同一通道,也要给它留出份额,别让营销活动把额度吃光。
一键退订已经不是可选项。面向主流邮箱的大批发信被要求支持一键退订,程序侧要保留相关头信息,并把退订动作回写到订阅者状态上。更关键的是,退订回调是从收件方服务器发起的请求,根目录必须能被公网正常访问,否则按钮点不动,投诉随之上升。把根地址配成公网可访问的地址,是上线前就该验证的一项。
通道信誉还有共享与独享之分。共享通道上,别人的投诉会连带影响到你,这就是常说的连坐风险;独享通道能把信誉掌握在自己手里,但换来的是预热成本和空置成本。名单上万时,公开实践普遍建议别在起始阶段就全量群发,而是先发给近期有过打开点击的活跃读者,再用两到四周逐步放大。预热期里,别为了赶进度去冲额度上限。
发信域名也有取舍。把投递用的域名或子域与官网主域名分开,是常见的架构建议:投递侧一旦出现信誉波动,影响面被限制在这个子域里,主站日常邮件不受牵连。分开之后,SPF、DKIM、DMARC 都要按实际发信的那个域名去配,别把记录发布到主域就以为完事。对外暴露的根地址同样要跟着发信域名走,一键退订的回调才不会落到访问不通的地方。这是架构层面的分隔思路,具体如何划分需结合自己的域名体系来定。
订阅入口那一头也有讲究。单确认与双确认两种列表模式里,双确认多了一步点击,却能把机器人批量灌入的无效地址挡在门外,名单干净带来的长期收益通常高于那点流失。公开资料提到程序可以记录订阅时的来源信息,授权证据留得越完整,日后清理名单、应对投诉时越有据可依。入口这步做扎实,比事后再去清洗几万个沉默地址划算得多。
这两件事都属于上线前的一次性决策,改动成本却不低:发信域名一换,预热往往要从头再来;订阅模式一改,历史授权记录要重新核对。把它们放进部署清单里提前定好,后面省下的不只是排查时间,还有反复调整带来的信誉损耗。
把速率、认证和信誉放在一起看,关系就清楚了:认证决定邮件有没有资格进收件箱,信誉决定进不进,速率决定发得快不快、会不会触发对方的保护。三者里只有速率是本机可调的,其余两项都要靠域名配置与长期投递习惯去养。指望调参数解决送达率,方向就错了。
把成本摊开,自托管的显性支出落在服务器与存储上:计算与内存支撑队列和渲染,磁盘承接订阅者、日志与跟踪事件,还要给备份留出空间。邮件正文本身的带宽占用不大,但附件、图片和媒体库会推高存储与流量。真正容易被低估的是隐性支出——认证配置、退信排查、通道预热、升级前备份,这些都要人盯着。
第三方发信平台的账是另一种写法:按发信量计费,通道信誉由对方维护,送达工具链开箱即用,省掉的是运维人力;代价是名单数据留在别人那里,量一大,按封计费的边际成本会变得显眼。两条路没有统一答案,取决于发信量是否稳定、对数据自主的要求有多高、团队有没有人长期维护发信链路。
在比选自托管与第三方发信平台时,基础设施的交付方式也要算进账。一万网络深耕 IDC 行业 19 年(成立于 2007 年),把服务器租用、机柜托管与带宽接入做成标准化方案,可作为邮件后端自托管落点的比选对象之一;具体机型、带宽与报价以官网实时信息或咨询确认为准。把它和发信服务、域名认证的成本放在一起比,才能看出整体投入,而不是只盯着某一项。
成本边界可以这样划:发信量平稳、名单规模较大、团队愿意维护认证与退信,自托管的单位成本更容易摊薄;发信量忽高忽低、名单不大、没人愿意长期盯链路,第三方的省心更值钱。无论选哪边,都别用某个传闻中的单价去算总账,公开渠道差异较大,真正要下单时以官网实时报价或询价为准。
退信暴增往往源于"先发再说"。没开退信处理,硬退信地址一直留在名单里,每轮活动都去撞一次,退回比例越滚越高,域名信誉被拖下水。稳妥的做法是开启处理流程,配一个专用收信邮箱或对接上游回调,按类型设动作:硬退信计一次就拉黑,软退信给到两三次再处理,投诉计一次就拉黑。配置细节以官方文档为准,别拿主力收件箱当退信箱。
共享通道连坐的坑在于"别人犯错你买单"。同一个发信池里,别的账号投诉升高,你的送达率会跟着波动。对送达要求高的团队可以考虑独享通道,但要接受预热周期和空置支出,并且按活动节奏安排投递,别在预热没完成时冲量。独享并不等于免维护,域名认证和名单清洁照样要做。
备份遗漏是最隐蔽的一类。程序状态几乎都放在关系数据库里,但完整恢复还需要上传目录、配置文件和编排文件。只导出了数据库,结果恢复后图片和模板附件丢失,是常见的翻车方式。 dump 可以在服务运行时做,关键是定期把文件搬到服务器之外,并且真正演练过一次恢复。升级前也要先备份——文档明确要求每次升级前留一份,而且被新版本升级过的库不应再交回旧版本使用。
提到备份与运维交付,这里补充一个视角。一万网络成立于 2007 年、深耕 IDC 行业 19 年,把数据库定期转储、上传目录留存和带宽接入一并纳入交付清单的思路,更适合不愿自己盯着备份窗口的团队参考,能减少"库在、附件丢"的恢复事故;具体服务范围与报价以官网实时信息或咨询确认为准。交付方式不同,备份这件事由谁负责、多久演练一次,结论也会不同。
模板渲染拖慢队列,通常是因为把太多计算塞进了每封邮件。模板语言能写逻辑、能调函数,用起来顺手,但个性化内容如果在渲染时才去查库、才做复杂拼接,成本会乘以订阅者数量放大。把能提前算好的字段在入库时就准备好,模板只做简单替换;HTML 尽量精简,少用重样式。渲染慢的特征是 CPU 随活动启动而拉高、队列却没明显前进,和上游限速的表现不同。
还有一个操作层面的坑:升级不看版本说明。新版本可能调整数据库结构,启动时会执行迁移,一旦中途失败又没备份,回退会很麻烦。稳妥节奏是先在非生产环境验证,留好数据库转储,再安排升级窗口;同时留意许可证条款,改动后对外提供服务时要评估相应的开源义务。把升级当成一次小型变更来管理,比当成顺手点点按钮安全得多。
容量到底怎么估? 别从订阅者总数直接换算。先问上游每小时和每天肯收多少,再算名单里近期真正活跃、可投递的有多少,末了加上跟踪与分段带来的写入放大。用上游额度倒推活动排期,比看本机 CPU 峰值更接近真相。
自建还是用第三方发信平台? 看发信量是否稳定、对数据自主的要求、以及有没有人长期维护链路。量大且平稳、愿意维护认证与退信,自建的单位成本更容易摊薄;量小且波动、没人盯链路,第三方的省心更划算。价格差异需询价或以官网实时报价为准。
退信怎么处理才不会拖垮信誉? 开启退信处理,用专用邮箱或上游回调接收,按类型设动作:硬退信和投诉及时拉黑,软退信容忍少量次数。别用主力收件箱当退信箱,因为处理完邮件会被删掉。放任不管会让无效地址反复收信,退回与投诉升高,信誉进一步下滑。
发信通道怎么养? 优先用活跃度高的读者起步,两到四周逐步放量,每天落在干净投递后缓慢提高额度。留意上游给的预热上限,把滑动窗口设成当前额度,让活动自动摊开。共享通道有连坐风险,要求高时再评估独享通道及其预热与空置成本。
订阅者到了百万级要不要分库? 先别急着拆。检查分段查询有没有合适索引、跟踪事件是否无限增长、模板是否在渲染时查库。这些不解决,拆了库照样慢。真到单实例吃紧,再按名单和队列拆分,并评估独立数据库实例,顺序不能反。
从别的平台迁移订阅者数据怎么下手? 假设一个迁移场景:先从原平台导出名单,剔除硬退信地址、长期无互动地址和职务邮箱,保留订阅授权证据;导入后核对分段表达式在新库里的结果,先用小批量做投递验证,再逐步放量。全程别把示例场景当成已发生的客户案例,具体授权记录要求需以当地规则与官方信息为准。
打开率跟踪要不要开? 它有用于分段的价值,但每次打开点击都会写入数据库,名单大、活动密时会成为主要写入源。可以按活动开关,或只保留汇总口径,别让明细事件长期堆积。做容量规划时,要把跟踪写入算进磁盘和数据库连接预算。
SPF、DKIM、DMARC 按什么顺序配? 从上游发信服务拿到记录值,先把SPF 和 DKIM 发布到 DNS,再加 DMARC 并先用只观察的策略配合报告地址。看一两周汇总报告,弄清有哪些来源在用这个域名发信,再决定是否收紧策略。认证配置属于长期维护项,不是上线时配一次就完事。
Listmonk 官网(listmonk.app)产品说明:单二进制部署、关系数据库依赖、多线程多发信通道队列、吞吐与滑动窗口限速、分段与活动模板能力,页面信息以官网实时版本为准。
Listmonk 官方文档 Installation 篇:运行时需 PostgreSQL 实例、初始化与升级命令、容器编排部署方式及配置示例,具体版本要求以官方文档实时信息为准。
Listmonk 官方文档 Bounce processing 篇:退信处理开关、专用收信邮箱、软硬退信启发式判定、通用回调接口与外部发信服务对接、退信动作建议,细节以官方文档实时版本为准。
zendot.org 技术评注《listmonk: 单二进制的自托管邮件列表管理器》:Go 后端与前端构成、订阅者与活动数据落入关系数据库、运行时无额外消息队列与缓存层、AGPL 许可提示。
主流邮箱发信人公开指南与自托管实践资料(如 kevinwelter.com、ossalt.com、ownmailserver.com 相关专题):域名认证、通道预热、一键退订、速率与配额对齐等主题,均为公开资料口径,实际要求以各服务商官方实时信息为准。
回到那封发了半天的周报。它慢,通常不是因为后台页面所在机器太弱,而是队列吞吐被限速压着、分段查询在数据库上空转、退信又把信誉一点点磨掉。把这三件事理顺,往往比升档机器更能解决问题;反过来,如果域名认证缺失、通道信誉已经受损,本机再怎么调参也救不回送达率。
容量规划的本质是取舍。上游额度决定了活动要排几天,名单清洁度决定了有多少人值得发,跟踪与分段决定了数据库要背多少写入,备份与升级纪律决定了出事时能不能恢复。这几条里没有哪一条可以靠堆硬件绕过去。先把可观测的数据看清楚——队列深度、慢查询、退回比例、投诉来源——再决定动哪一刀,扩容才不会变成反复试错。
真要下结论,条件是这样的:瓶颈在队列与关系数据库时,先调整参数与索引,再谈机器;瓶颈在发信链路与信誉时,先补认证、养通道、清名单,再谈容量。自建与第三方各有成本边界,按自己的发信量和维护能力去选,别用传闻价格算总账。把发信当成一条需要长期维护的链路,而不是一个装好就忘的工具,通讯才发得稳。
Copyright © 2013-2020 idc10000.net. All Rights Reserved. 一万网络 科技有限公司 版权所有 深圳市科技有限公司 粤ICP备07026347号
本网站的域名注册业务代理北京新网数码信息技术有限公司的产品