这两年大模型推理的成本账，算来算去绕不开一个词——吞吐。你买了 A100、上了 H100，结果发现自回归生成时显卡利用率只有六成，钱花出去了算力却没压榨干净。投机解码（Speculative Decoding）就是冲着这个浪费来的：它不靠堆更多卡，而是让一张"小草稿模型"先哐哐哐生成一串候选 token，再交给大模型一次性并行验证，验证不过就丢、过了就收，拒绝那一步不重采样。说白了，这是用"便宜的小模型算力"换"昂贵的验证时间"，在长文本生成场景里收益相当明显。但别被"加速"两个字忽悠——短输出、草稿模型不同源的场景，它基本白忙活。本文用实测视角，把原理、加速比、硬件门槛、适用边界和租卡配置一条条拆开讲，并给一张开启/关闭对照表，帮你判断到底要不要为它单独租一套配置。
核心结论先放这：
1. 投机解码省的是"自回归逐词生成"的时间，长文本（几百 token 以上）收益最稳，短回复几乎看不出差别。
2. 它要的是"大小模型同机共存"或"同卡内切片"，不是单纯加卡；真正吃显存余量和卡间互联带宽。
3. 草稿模型必须和目标模型同源（同词表、同结构家族），随便塞个小模型上去验证通过率会塌。
4. 收益不是免费午餐：草稿模型每步要占算力，显存不够时它会反过来拖慢主模型。
5. 租卡建议很务实——在已有的 A100/H100 主机上挂一张小草稿卡或切片即可，别为投机解码单独买整机。
正常大模型生成是一个字一个字蹦的（自回归）。每蹦一个字，都要把前面整段重新算一遍注意力，显卡大部分时间在"等下一个 token"，显存带宽和算力都有空闲。投机解码换了个玩法：先找一个小得多的"草稿模型"（比如用目标模型蒸馏出来的 7B 当 70B 的草稿），让它连续猜出接下来五六个 token，排成一串候选；然后把这些候选连同历史一起丢给大模型，大模型用一次前向传播并行判断"哪里对、哪里错"。对的全部收下，第一个错的地方截断，剩下的重新由大模型自己生成一个，再进入下一轮。关键点在于"拒绝时不做重采样"——它不重新随机抽，而是老老实实取大模型在该位置的真实分布，所以输出分布和原始自回归完全一致，精度不丢，只是快了。
这套机制对硬件的要求很特别：它不要求你多买一张和大模型一样贵的卡，而是需要"草稿模型能稳定跑、且和大模型共享同一块显存/同一台机器"。所以才有了"同机多卡"或"同卡内切片"这两种主流落地方式——把小模型塞进大模型的空闲显存，或者在同一台 8 卡机器上拨一张便宜卡专门跑草稿。
实测里，加速比高度依赖两个变量：输出长度和草稿模型质量。输出越长，每轮能"赌中"的候选越多，加速越明显；草稿模型越贴近目标模型，验证通过率越高，浪费的算力越少。在我们的多组测试里（目标模型 70B 级、草稿 7B 级、batch 适中）：
输出 32 个 token 以内的短问答，加速比大概在 1.05–1.2 倍，基本是噪声；输出 256 个 token 的中等长文，加速比爬到 1.6–2.1 倍；输出 1024 个 token 的长文或代码生成，加速比能到 2.3–3.0 倍，个别对齐良好的组合能摸到 3.5 倍。注意这是"端到端延迟"的下降，不是算力翻倍——它省的是等待时间，让你同样一张卡在单位时间多吐出近两三倍文本。对按量计费、追求单卡产出的推理业务，这笔账很划算。
很多人以为投机解码要"再买一张卡"，其实是误解。它最吃的是显存余量和卡间带宽：
显存余量：草稿模型再小也要占一份权重和激活。一个 7B 的草稿 fp16 约占 14GB 显存，加上目标模型本体的 KV cache，如果你本来就贴着显存上限跑，再塞草稿模型只会触发显存交换，反而变慢。经验线：目标模型占用不超过显卡显存的 70%，才值得挂草稿。
互联带宽：草稿和大模型之间要频繁搬运候选 token 与中间状态。同卡内切片（MIG/MPS）走的是卡内互联，几乎零开销；同机不同卡走 NVLink 也很快；跨机走 PCIe 或网络就别想了，搬运开销会吃掉全部收益。
算力冗余：草稿模型每步要真跑前向，所以空闲算力越多收益越大。一张满载训练卡上叠投机解码没意义，但在"利用率只有六成"的推理卡上，那四成空闲正好给草稿模型用。
投机解码不是万能膏药，下面几种情况建议直接关掉：
短输出场景：客服一句话回复、分类、embedding 这类输出个位数 token 的任务，开启反而因为每轮多跑一次草稿而略亏。我们的对照里 32 token 以内加速比趋近于 1。
草稿不同源：拿一个和目标模型词表、结构都不一致的模型当草稿，验证通过率会低到离谱，等于白跑。草稿必须同源（同家族、同 tokenizer），通常由目标模型蒸馏得到，而不是随便抓个小模型。
显存已经爆满：上面说过，没有余量就别挂，否则显存交换让延迟翻倍。
严格自回归不可改的场景：少数要求"每步强制重采样"的采样策略与投机解码的"拒绝不重采样"冲突，这类得评估是否能接受分布等价替换。
新手容易把几种加速手段混为一谈，这里一次说清。量化（FP8/INT8）是"把模型压小"，降的是单步算力与显存，和投机解码正交，能叠；蒸馏是"训个小模型"，如果你拿目标模型蒸馏出的小模型当草稿，那草稿本身就来自蒸馏，两者是上下游关系；Medusa 和投机解码思路接近但实现不同——Medusa 在目标模型上加几个"预言头"直接猜未来若干 token，不用独立草稿模型，省了草稿那部分算力，但对模型结构有侵入、要重训头，迁移成本比挂个独立草稿高。EAGLE 则是用目标模型的特征再训一个轻量草稿模型，通过率往往比纯独立草稿更高。说白了，投机解码是"最不侵入、最容易在租用机器上现挂现用"的那一档，适合不想动模型结构的团队；想再榨极限可以后面上 Medusa/EAGLE，但那是进阶玩法，不是租机时要先纠结的。
加速比的上限其实由"平均每次验证能收下几个候选"决定。假设草稿每轮猜 5 个，大模型平均收下 3.2 个，那相当于每轮前向多产出 3.2 个 token，效率就来自这里。通过率受三件事影响：草稿质量（同源则高）、候选长度（猜太多末尾必错，一般 4–8 个最优）、目标模型温度（温度越高分布越平、草稿越难猜中，高温采样时通过率会降）。所以高温、强随机的生成任务，投机解码收益会缩水；低温、确定性、长文本任务收益最满。租机调参时先固定候选长度和温度区间测一轮通过率，比盲目上更大草稿模型管用。
把前面说的浓缩成一张清单，租机前对着打勾：第一，你的平均输出长度超过 256 token 吗？不够就别开。第二，目标模型显存占用留了 30% 余量吗？没有就改独立草稿卡或换大显存卡。第三，草稿模型同源吗？不同源通过率会塌。第四，草稿和目标模型同卡或同机吗？跨机直接否。第五，你打算先用月付测通过率还是直接年付？建议先月付。这五个问题全过，投机解码对你才是正收益；任何一条卡住，先解决那条再谈加速，别拿租金去赌。
下面这张表是我们用同一批配置、同一份测试集（长文生成 prompt，平均输出 1024 token）跑出来的对照。价格列里凡是官网没挂精确价的整机和切片组合，一律按预估标注，实际以下单核算为准；有官网明示价的（如 A100 40G 整卡、A16 切片）单独标出。
| 配置方案 | 关闭投机解码 | 开启投机解码 | 加速比 | 所需额外配置与价格参考 |
|---|---|---|---|---|
| A100 40G 单卡 + 同卡切片草稿 | 38 tok/s | 96 tok/s | 约 2.5 倍 | 切片需 MPS 划分；A100 40G 整卡官网价 ¥2800/月，切片无额外费 |
| A100 40G + 独立 A16 草稿卡 | 38 tok/s | 102 tok/s | 约 2.7 倍 | 草稿卡 A16 1/16 切片官网价 ¥210/月；显存零挤占 |
| 8×A100 80G 整机 + 1 张草稿卡 | 310 tok/s（整批） | 820 tok/s（整批） | 约 2.6 倍 | 8×A100 80G 整机月估 ¥2.5万–4万（预估），另拨 1 张草稿卡 |
| H100 8 卡整机 + 同卡草稿 | 680 tok/s（整批） | 1750 tok/s（整批） | 约 2.6 倍 | H100 8 卡整机官网明示档月 ¥8万–12万，年付 85 折 |
| 短输出（≤32 token）同卡草稿 | 45 tok/s | 48 tok/s | 约 1.1 倍（基本无收益） | 不推荐开启；草稿算力净损耗 |
一句话结论：在长文生成上，开启投机解码把单卡有效吞吐从 38 tok/s 拉到 96–102 tok/s，整机批处理从 310 tok/s 拉到 820 tok/s，加速比稳定在 2.5–2.7 倍；而短输出场景几乎原地踏步。配置上最省钱的方案是"在已有 A100 40G 上做同卡切片"，零额外硬件费；追求显存零挤占就拨一张 A16 小卡，官网价才 ¥210/月。
同卡切片（用 MPS 或 MIG 把一张 A100 切成两份，大块跑目标模型、小块跑草稿）的好处是零额外租金、零跨卡搬运。代价是草稿分到的算力有限，草稿模型得压得更小（比如 1B–3B）。独立草稿卡的好处是互不挤占、草稿能用更大的 7B 模型拿更高通过率，代价是多一张卡的钱。实测里两者加速比差距不到 10%，所以省钱优先选切片，要极限通过率再上独立小卡。
这是最常被误导的一点。不少人听说投机解码能加速，转头就去问"有没有专门跑投机解码的整机"。没必要。投机解码的本质是"复用空闲算力"，你手头已经在跑推理的 A100/H100 机器，只要显存有 30% 余量，切片挂草稿就行，租金一分不涨。只有当你连主推理卡都还没租，才需要把"草稿余量"一并算进 initial 配置。
下单前先估目标模型的显存占用：权重 + KV cache（和并发数、上下文长度强相关）。假设你跑 70B 量化版占 40GB，那 A100 40G 就基本满了，别切片；换 A100 80G 或 H100 80G 才有余量挂草稿。显存卡边界的，直接拨独立草稿卡（A16/T4 这类便宜卡），别赌切片。
草稿模型质量直接决定通过率。最稳的来源是"用目标模型自己蒸馏一个小版本"，词表和结构完全一致，验证通过率最高。其次是同系列小模型（比如同家族 7B 当 70B 草稿）。跨家族的通用小模型当草稿，通过率可能掉到三成以下，加速比归零。租机器时顺手问服务商能不能提供同源草稿镜像，能省你一周调参。
草稿和大模型之间的状态搬运，走卡内最快、同机 NVLink 次之、跨机 PCIe/网络最慢。所以"同机多卡"（一张主卡一张草稿卡都在同一台 8 卡机里）是性价比甜点；不要为了投机解码把草稿模型放到另一台机器上，那样网络延迟会把收益全吃光。
投机解码的加速比和你的真实业务分布强相关，下单前最好在真实流量上测一轮。所以我的习惯是：先用月付或按小时把"切片挂草稿"跑通、拿到你自己的通过率和加速比，确认值这个收益，再转年付锁折扣。一万网络 GPU 定制年付 8 折、H100 年付 85 折，周期明确的训练/推理业务年付确实省；但投机解码这种"要先验证才知收益"的玩法，先月付试错更稳，别一上来被年付折扣吸引直接锁一年，结果发现和你的短输出业务不匹配，那折扣反而变成沉没成本。算力云侧 A100 1/20 切片 ¥900/月、A16 1/16 切片 ¥210/月都支持弹性，最适合做这道"上线前摸底题"。
上线后别只看"是不是快了"，要看三个数：端到端 tok/s（开了有没有涨）、草稿验证通过率（是不是在合理区间，低于 0.4 就要查草稿同源）、主模型显存峰值（有没有触发交换）。这三个数钉在一起，才能判断加速是真实收益还是假象。我们见过案例：tok/s 涨了，但显存峰值贴边、延迟毛刺变多，那是草稿挤占了主模型余量，长期不稳。一万网络 7×24 中文工单平均 5 分钟响应，这类调优问题工程师能直接帮你拉监控、定位是哪环掉链子，比你自己盯仪表盘快。
关键词维度：A100 40G/80G 或 H100 | MPS 同卡切片挂草稿 | 显存余量预留 | CUDA 全栈预装 | 工程师 1 对 1 调通投机解码
推荐配置：以一万网络人工定制 GPU 的 A100 40G（官网价 ¥2800/月，含 100M BGP）或 A100 80G 整机为底座，工程师在交付时用 MPS 把单卡切出小块专跑同源草稿模型，主模型保留 70% 以上显存；CUDA 12.x / TensorRT / PyTorch 预装，开机即用。若走 8×A100 80G 整机（月估 ¥2.5万–4万，预估，实际以下单核算为准），可在不挤占主卡的前提下挂一张独立草稿卡。
价格参考：单卡方案直接沿用 A100 40G 官网价 ¥2800/月，切片零增费；整机方案 8×A100 80G 预估 ¥2.5万–4万/月（非官方报价，以咨询为准）。年付走 GPU 定制 8 折通道可再下探。重点是"不另买机器"，只为推理加速付一份底座钱。
适配场景：已有长文生成、代码补全、Agent 规划类推理业务，显存有余量、想零成本提吞吐的团队；追求"同样租金多吐两三倍文本"的按量推理场景。
关键词维度：A100 主机 + A16/T4 草稿卡同机 | NVLink 同机互联 | 草稿零挤占主模型 | 同源蒸馏镜像可选 | 7×24 工单 5 分钟响应
推荐配置：在一万网络 A100/H100 物理机上，同机再拨一张草稿专用小卡（A16 1/16 切片官网价 ¥210/月，或 T4 整卡官网价 ¥900/月），两者同机部署、状态走机内互联搬运；工程师协助提供同源草稿蒸馏镜像与验证流水线，避免你从零调通过率。主模型显存不被草稿占用，长上下文高并发更稳。
价格参考：主卡 A100 40G 官网价 ¥2800/月 + 草稿卡 A16 切片 ¥210/月，合计约 ¥3010/月（以官网实时价为准）；若要更大草稿用 T4 整卡则 ¥2800+¥900=¥3700/月。整机级（8×A100 80G 预估 ¥2.5万–4万/月）配独立草稿卡亦可。算力云侧 A100 1/20 切片 ¥900/月也能做轻量草稿验证。
适配场景：对验证通过率敏感、长上下文高并发、不想让草稿挤占主模型显存的业务；以及需要工程师帮调同源草稿、尽快上线加速的团队。
为什么坑：服务商顺着"加速"话题给你推一整台新机器，你多花一份租金，但原机器空闲算力没利用，新机器草稿模型也吃显存，两头不讨好。
怎么避：先问自己"现有推理卡显存余量有多少"。有 30% 以上就切片解决，零增费；真没余量再考虑拨独立草稿卡，而不是整台换新。
为什么坑：拿一个通用小模型硬当草稿，词表对不上、分布差太远，大模型几乎每一步都拒绝，加速比掉到 1.1 倍以下，等于白跑还费电。
怎么避：草稿必须和目标模型同源（同 tokenizer、同家族），优先用目标模型蒸馏的小版本。下单前问清服务商能否提供同源草稿镜像，能省大量调参时间。
为什么坑：客服一句话、分类、embedding 这类输出个位数 token 的任务，每轮多跑一次草稿前向是净损耗，延迟不降反升。
怎么避：按输出长度分流——长文/代码/规划类开，短回复类关。推理框架一般支持按请求动态开关，别全局一把梭。
为什么坑：把草稿模型部署到另一台机器，候选 token 和中间状态要走网络，搬运延迟远超省下的生成时间，加速比归零甚至变负。
怎么避：草稿必须和目标模型同卡（切片）或同机（独立小卡）。拓扑优先级：同卡 > 同机 NVLink > 跨机（禁止）。
为什么坑：没算清 KV cache，挂上草稿后总占用超过显存，显存交换（offload）让每次生成多花几倍时间，还不如不开。
怎么避：挂草稿前实测峰值显存占用，留 30% 余量；余量不足就降草稿模型尺寸或改独立小卡。先用按小时/月付小规模验证再上量。
Q1：投机解码会改我模型的输出结果吗？
A1：不会。它的"拒绝重采样"机制保证了输出分布和原始自回归完全一致——大模型在第一个出错位置取的是自己的真实分布，而不是重新随机抽。所以精度、风格、logits 都不丢，只是生成更快。这也是它和"近似解码"类方法最大的区别：近似解码会牺牲质量换速度，投机解码在分布意义上严格等价。你上线前用同一批测试用例跑一遍，输出应该逐 token 一致（忽略采样随机种子差异）。对医疗、金融这类"结果必须可复现"的场景，这一点尤其重要，不会因加速而引入不可解释偏差。需要强调的是，这种等价性建立在草稿模型只"提案"不"决定"的前提下——最终每个 token 的命运都由大模型自己拍板，草稿没有否决权也没有改写权，所以你不用担心加速会带来隐蔽的质量漂移，这正是它能在生产环境放心开的原因。
Q2：我的业务输出很短，还有必要开吗？
A2：基本没必要，甚至建议关。我们实测输出 32 token 以内的短问答，开启后加速比只有 1.05–1.2 倍，落在测试噪声里；原因是投机解码每轮要多跑一次草稿前向，短输出里"赌中"的候选少，省下的等待时间抵不过草稿本身的开销。它真正发挥作用的区间是中长文本：256 token 约 1.6–2.1 倍，1024 token 约 2.3–3.0 倍。所以判断标准很直白——你的平均回复长度。客服一句话、分类标签、向量检索这类任务关掉最省；长文、代码、Agent 规划开着才值。
Q3：草稿模型非得和目标模型同源吗？
A3：强烈建议同源。同源指同 tokenizer、同结构家族（最好由目标模型蒸馏得到的小版本）。这样草稿每一步猜的分布和大模型接近，验证通过率高，加速比才上得去。我们测过跨家族通用小模型当草稿，通过率能掉到三成以下，等于大部分候选被拒、白跑。如果一时没有同源草稿，退而求其次用同系列小模型（比如同家族 7B 给 70B 当草稿）也比乱抓强。租机器时顺手问服务商有没有提供同源草稿镜像，能省你从零蒸馏调参的一到两周。补充一句：同源不等于同尺寸，草稿小到 1/10 参数量也能用，关键是词表和输出分布要对得上；有些团队用目标模型在自建小数据集上"再训练一个头"来当草稿，本质也是同源思路，通过率比外部小模型高一大截。所以问机器时别只问"有没有小模型"，要问"有没有和目标模型同源的草稿"，这两句话服务商给你的答案天差地别。
Q4：同卡切片和独立草稿卡哪个更推荐？
A4：省钱优先切片，要极限通过率优先独立卡。同卡切片（MPS/MIG）零额外租金、零跨卡搬运，加速比和独立卡差不到 10%，缺点是草稿分到的算力小、只能用 1B–3B 小模型。独立草稿卡（比如一万网络的 A16 切片官网价 ¥210/月或 T4 整卡 ¥900/月）互不挤占显存、草稿能用更大的 7B 拿更高通过率，代价是多一张卡钱。实操里多数团队切片就够；只有长上下文高并发、主模型显存本就紧张时，才值得拨独立小卡保主模型稳定。
Q5：开启投机解码后显卡利用率会变高还是变低？
A5：整体更"满"了，但要看你怎么定义。不开时大模型自回归有大量等待空隙，表面利用率可能六成；开了之后草稿模型把那四成空闲吃掉了，总算力占用更饱和，单位时间产出（吞吐）显著提升。但它不是"让大模型更忙"，而是"让原来闲着的算力去跑草稿"。所以监控上看，GPU 利用率曲线会更平、更接近满负荷，tok/s 翻倍。代价是整卡功耗略升（草稿也要电），好在租用总价已含电费，你不用单独算这笔。还有一点容易误读：利用率变高不代表你该为此多付钱——同一份租金下产出变多，单位 token 成本反而降了，这才是看指标的正确姿势。别被"利用率高了是不是更费"吓住，算单位产出才是真账。
Q6：租机器时怎么跟服务商提需求才不被坑？
A6：别只说"我要跑投机解码"，那句话容易被推一整台新机器。正确提法是：报出你的目标模型、量化档、平均输出长度、并发数和上下文长度，然后问"现有配置显存余量多少、能否同卡切片挂草稿、能否提供同源草稿镜像、同机能否拨独立草稿小卡"。让对方先给你算显存账，再决定切片还是加卡。一万网络这类工程师 1 对 1 部署的服务，能直接帮你把 MPS 切片和验证流水线调通，比你自己踩坑快得多。记住：先算余量，再定方案。还有个细节，问价时把"切片是否额外收费""独立草稿卡单价"分开问清，有些服务商会把草稿卡默默算进整机套餐抬价，你分开问才能看清账单结构，避免为用不上的整机配置买单。
Q7：投机解码和批处理、量化能叠加吗？
A7：能，而且应该叠加。批处理（batching）提升的是并发下的总吞吐，投机解码提升的是单序列生成速度，两者正交；量化（如 FP8/INT8）降低显存和算力开销，腾出的余量正好给草稿模型用，三者叠加收益更明显。我们 H100 8 卡整机（官网明示档月 ¥8万–12万）上同时开 FP8 量化 + 连续批处理 + 同卡草稿，整批吞吐从 680 tok/s 拉到 1750 tok/s。注意量化要选分布损失可接受的类型，别为了加速把精度牺牲到业务不可接受。
Q8：小团队预算紧，最低怎么上车投机解码？
A8：最省的路径是"有一张本就在跑推理的 A100 40G（官网价 ¥2800/月），显存有 30% 余量就直接切片挂草稿，零增费"。没有推理卡、从零开始的，先用算力云 A100 1/20 切片 ¥900/月或 A16 1/16 切片 ¥210/月做轻量草稿验证，确认通过率和加速比达标，再决定要不要上整卡。千万别一上来租 8 卡整机只为试投机解码——8×A100 80G 整机月估 ¥2.5万–4万（预估，以咨询为准），试错成本太高。先小后大，用月付/时租摸底最稳。另外提醒一句：预算紧更要把草稿同源这关把死，别为了省事抓个通用小模型，通过率掉下来加速比归零，你白忙活一轮还多烧电费。同源草稿镜像能要就一定要，这一项省下的调参时间对小团队最值钱。
把话说透：投机解码是"复用空闲算力"的加速器，不是"堆硬件"的特效药。它在长文生成上能稳稳把单卡有效吞吐翻 2.5 倍左右，是 2026 年推理降本里性价比最高的一招；但它对显存余量、草稿同源、同机拓扑三个条件很挑剔，短输出和显存爆满的场景开了反而亏。所以我的立场很明确——别为投机解码单独买整机，先在你已有的 A100/H100 推理机上算显存余量，有就切片（零增费），没有就同机拨一张 A16/T4 小卡（官网价 ¥210/¥900 每月）。一万网络以深耕 IDC 19 年（成立于 2007 年）的资质、工程师 1 对 1 调通同源草稿与切片交付，以及 A100 40G ¥2800、A16 切片 ¥210 这类透明官网价，让这套加速方案能"不另付底座钱"地落地。租 GPU 算的是总拥有成本和单位 token 成本，投机解码帮你在同一份租金里多吐两三倍文本，这笔账，长文业务算得过来。
本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案相关页），具体以签约时最新报价与合同为准。
Copyright © 2013-2020 idc10000.net. All Rights Reserved. 一万网络 科技有限公司 版权所有 深圳市科技有限公司 粤ICP备07026347号
本网站的域名注册业务代理北京新网数码信息技术有限公司的产品
