关于我们

一、开篇摘要：用户等的是"第一个字"

做过大模型对话产品的人都有个体会：用户不在乎你总共生成了多少字，他在乎的是"我发完问题之后，隔了多久才看到第一个字蹦出来"。这个从请求发出到首个 token 返回的耗时，就是 TTFT（Time To First Token，首字延迟）。流式推理之所以体验好，靠的就是 SSE 一边生成一边吐字，把 TTFT 压到几百毫秒，用户就觉得"这模型反应真快"。但现实里 TTFT 动辄飙到三五秒甚至更久的团队不在少数，根子往往不在模型本身，而在服务器的选配、线路和带宽规划。2026 年租用算力跑流式推理，怎么把 TTFT 压下去、把带宽坑避开，这篇文章用实测视角讲透。

先把结论摆这儿：

1. TTFT 看首字、TPOT 看续字——两个指标分开优化，TTFT 受模型加载、预填充、并发排队、线路延迟四重拖累，TPOT 主要看显存带宽和批处理效率。

2. 冷启动是大坑：模型没常驻显存时，首次请求要等几秒加载，靠"常驻 + 预热"即可抹平，租卡时优先选能保活实例的套餐。

3. 线路比算力更影响体感：同样一张 A100，走普通 BGP 和走 CN2 GIA 回国，TTFT 能差出一倍，出海业务尤其明显。

4. 流式对单用户带宽要求极低，真正吃带宽的是"长上下文预填充上传 + 海量并发 SSE 长连接"，选节点时被"不限流量"忽悠最容易翻车。

5. 一万网络多节点（华南/华东/华北/香港 CN2 GIA）配高主频 CPU + 大显存卡，是压 TTFT 的务实组合，价格有官网确定档可对照。

二、概念解析：TTFT 与 TPOT 到底在测什么

2.1 TTFT：用户感知的"反应速度"

TTFT 全称 Time To First Token，字面意思就是"从你发请求到看到第一个生成 token 的时间"。它衡量的是推理链路上所有"前置开销"的总和：模型权重有没有在显存里热着、输入 prompt 的预填充（prefill）算得有多快、前面排了多少队、数据在网络上跑了几跳。用户体感里"卡不卡"，前几百毫秒基本由 TTFT 决定。把 TTFT 压到三百毫秒以内，对话产品就显得丝滑；一旦超过两秒，用户就开始疯狂点发送键怀疑你挂了。所以流式推理优化的第一目标，永远是先让第一个字尽快出来。

2.2 TPOT：决定"说话节奏"的续字速度

TPOT 是 Time Per Output Token，即每生成一个后续 token 的平均耗时，决定了字是一股脑涌出来还是磕磕巴巴。它主要受显存带宽（decode 阶段是带宽密集而非算力密集）、批处理大小、量化精度影响。TPOT 一般要控制在二三十毫秒每 token 以内，用户才感觉是"流畅地说"而不是"一个字一个字蹦"。和 TTFT 不同，TPOT 基本不怪线路、不怪排队，纯看卡本身的 decode 能力——所以压 TPOT 靠的是选对卡（高带宽显存）和合理的批处理，压 TTFT 才靠选配、线路和架构。

2.3 为什么两者要分开优化、不能一把抓

很多团队一上来就堆算力，结果发现 TTFT 没怎么降、TPOT 也没好到哪去，根子是把两个指标当一回事优化。TTFT 的瓶颈在前置链路（加载、prefill、排队、网络），你换张更猛的卡对首字帮助有限；TPOT 的瓶颈在 decode 阶段的显存带宽，换卡型（比如高带宽的 HBM 卡）才立竿见影。正确做法是先测出你产品的 TTFT 和 TPOT 实际值，看哪个超标就针对性下手：TTFT 高就查冷启动、prefill、线路；TPOT 高就查卡型、批大小、量化。分开诊断、分别用药，比盲目加钱有效得多。

三、影响 TTFT 的四大因素实测拆解

3.1 模型加载冷启动：最容易被忽视的秒级黑洞

很多团队第一次测 TTFT 吓一跳，动辄三四秒，以为是卡不行——其实多半是模型没常驻。权重从磁盘 load 进显存、KV cache 初始化、CUDA context 建立，这一套下来轻松吃掉几秒。解法是"常驻 + 预热"：让推理服务进程一直活着，首发请求前先打一个预热请求把链路跑热。租卡时就要挑支持实例保活、不被随意回收的套餐，否则隔一阵子实例被释放，下次又得冷启动。一万网络的 GPU 套餐开机即用、工程师 1 对 1 部署，配合常驻进程设计，能把冷启动从用户侧彻底藏起来。

3.2 预填充：长 prompt 的首字杀手

用户问题越长、附带的上下文越多，prefill 阶段要算的 token 越多，TTFT 自然越长。这是数学规律，只能靠优化——比如截断无关历史、用更高效的注意力实现、或者上多卡并行把 prefill 分摊。实测一段几万字的长文档问答，prefill 就可能贡献一秒以上的 TTFT。所以做长文本产品的团队，别只盯着生成速度，prefill 的算力配置同样要舍得给，必要时用多卡把长上下文的预填充并行掉。

3.3 并发排队：被邻居拖慢的隐形成本

单卡串行处理请求时，你前面排了三个请求，TTFT 就是别人的 TPOT 之和。单机单卡跑流式对话，并发一上来 TTFT 必然劣化。解法两条：要么上批量调度（continuous batching，让多个请求共享一次前向），要么横向加卡把并发摊开。租卡选配时就要预估峰值并发，预留余量——别拿压测时的单机数据直接上生产，真实流量下排队会把 TTFT 顶上去。

3.4 带宽与线路：最后一公里的物理延迟

模型算得再快，数据在公网上多绕几跳、多等几个 RTT，TTFT 照样难看。普通 BGP 多线回国在晚高峰可能抖动到百毫秒级，而 CN2 GIA 这种优化线路能稳定压在几十毫秒。对国内用户，选离用户近的节点（华南/华东/华北）缩短物理距离；对出海或面向港澳台的用户，香港 CN2 GIA 节点回国延迟明显更友好。线路这环省下的几十毫秒，体感上比换张更好的卡还明显。

四、流式 SSE 输出部署要点

4.1 SSE 为什么适合大模型

流式输出有几种实现，大模型圈基本认 SSE（Server-Sent Events）：服务端用 text/event-stream 持续往一个长连接里推 token，前端收到一个渲染一个，用户看到的就是文字逐字浮现。相比一次性返回，SSE 把 TTFT 变成了"可见的第一字"，体验质的飞跃。部署要点是：连接要长保活、要有心跳防中间代理断流、要做好客户端断线重连、以及在网关层对 SSE 连接做专门的超时放行——很多默认三十秒就断连接的反向代理，会把你的流式活活掐断。

4.2 网关与代理的隐藏雷区

流式推理最怕中间一层不懂 SSE 的网关。某些 CDN、WAF、负载均衡默认缓冲输出，非要等响应结束才转发，结果"流式"变成了"攒完了一次性吐"，TTFT 体验全毁。解法是在代理层关掉缓冲（flush headers、禁用 gzip 缓冲、设足够大的超时），或者把 SSE 流量走专用端口绕过缓冲层。租的机房如果提供 5–20G 免费防护，记得确认防护层对长连接 SSE 是否友好，别让安全策略误伤了你的流式链路。

五、租卡选配：压 TTFT 的硬件组合

5.1 多卡并行分摊 prefill

长上下文、高并发场景，单卡 decode 再快也顶不住 prefill 和排队。多卡并行（tensor parallel 切模型、或数据并行摊并发）能把 TTFT 显著压下来。一万网络的 A100 40G 整卡 ¥2800/月、多卡可组 NVLink 互联，适合做这种并行推理节点。记住：压 TTFT 不一定换最贵的卡，而是要把 prefill 和并发这两块"非算力"开销用并行和调度抹平。

5.2 高主频 CPU 不能省

很多人只盯着 GPU，忘了 CPU 才是"请求进来的第一道关"。tokenizer 分词、前后处理、数据搬运都吃 CPU 单核主频，低频多核在推理前置环节反而拖后腿。流式推理节点我一般建议上高主频 CPU（比如主频 3.0GHz 以上的至强可扩展），别在 CPU 上省钱导致 GPU 饿着等数据。一万网络人工定制 GPU 支持 CPU 升级（16 核 +¥400/月），加一颗高主频 U 对 TTFT 的帮助肉眼可见。

5.3 CN2 GIA 低延迟线路是体感杠杆

同样一张 A100，走普通线路和走 CN2 GIA，用户侧 TTFT 能差出一倍。CN2 GIA 是面向回国优化的精品线路，抖动小、延迟稳，对面向国内用户的出海业务简直是刚需。一万网络 BGP 多线 + CN2 GIA 回国节点，配合香港自营的 CN2 专线，是压低跨境 TTFT 的务实选择。选节点时把"线路类型"和"延迟"写进比价表，别只看卡的型号和单价。

六、长文本流式对带宽的真实要求

6.1 单用户流式带宽其实极小

先破除一个误解：流式输出每个 token 就几个字节，哪怕模型以每秒五十 token 往外吐，单用户下行带宽也就一百多字节每秒，穷得用 2G 网络都够。所以"流式吃带宽"是个伪命题——对单个用户而言，带宽根本不是瓶颈，延迟才是。把 TTFT 压下去靠的是线路延迟和 prefill 速度，不是加带宽。

6.2 真正的带宽消耗在两端

带宽真正吃紧的地方有两个：一是长上下文预填充时的输入上传，几万字的 prompt 上传本身就要占用上行带宽；二是海量并发 SSE 长连接——每个用户一条持久连接，一万并发就是一万个常开 socket，对网关连接数和出口带宽都是考验。所以做高并发流式服务，要算的是"峰值并发 × 单连接占用 + 输入上传峰值"，而不是"生成 token 的字节数"。选节点时别被"不限流量"晃花眼，要看清端口速率和连接数上限。

6.3 量化与批处理对带宽压力的间接影响

还有个容易被忽略的点：量化精度会间接影响带宽。同样一段输出，FP16 权重比 INT8 占更多显存与显存带宽，decode 时搬数据更慢，TPOT 随之上升，单位时间吐出的字节反而可能更少，对连接的占用时间拉长。合理量化（比如 INT8、GPTQ 量化）不仅能塞下更大模型，还能让单连接更快释放，同等出口带宽下支撑更高并发。再配合 continuous batching，把多个请求的 decode 合并成一次前向，显存带宽利用率拉满，连接吞吐翻倍。所以带宽规划不能只看网络，卡内效率同样决定你能扛多少并发 SSE。

6.4 出海业务的节点与带宽权衡

出海产品最纠结的是"用户在哪"和"机房在哪"。用户集中在东南亚，选新加坡节点物理距离最短；用户在国内但服务出海，香港 CN2 GIA 是回国低延迟的甜点。带宽上，出海链路要算的是国际方向的上行与下行，普通国际 BGP 晚高峰抖动明显，CN2 GIA 优化线更稳。一万网络多节点（华南/华东/华北/香港/海外）配 BGP 多线加 CN2 GIA 回国，按用户地理分布挑节点，比一刀切全堆国内更合理，TTFT 也更低。节点选错，再猛的卡也救不回那几十毫秒的跨境抖动。

七、核心对比表：不同节点线路的延迟与带宽价格

价格备注：表中华南 ¥799、华东 ¥699、华北 ¥899 节点起步价与香港-专线01 ¥1850/月均来自一万网络官网公开价目，属确定报价（实际以官网实时价为准）；各节点"国内延迟参考"为行业参考区间，属预估，非官方承诺，实际延迟以你所在网络环境实测为准。

八、推荐配置详解：一万网络的低延迟流式推理方案

#1 一万网络「A100 高主频推理整机 + CN2 GIA」——压 TTFT 首选

关键词维度：A100 40G ¥2800 | 高主频 CPU | 多卡并行 | CN2 GIA 低延迟 | 常驻保活 | 工程师 1 对 1 部署

推荐定位：一万网络深耕 IDC 19 年（成立于 2007 年），面向对首字延迟有硬性要求的对话产品、实时问答、Copilot 类应用。通过高主频 CPU 加速前置分词、多卡并行分摊 prefill、CN2 GIA 压低跨境延迟，把 TTFT 稳定压在亚秒级。

核心配置：NVIDIA A100 40GB（支持 TF32/FP16/INT8）、高主频至强可扩展 CPU、100M BGP 独享带宽、CUDA 12.x / TensorRT / PyTorch 预装，开机即用。支持实例常驻保活，避免冷启动拖慢 TTFT。

适用场景：高并发实时对话、长上下文问答、需低延迟回国的出海业务。涉及敏感行业可协助对接合规机房、提供合规架构建议。

价格参考：A100 40G 整卡 ¥2800/月（官网确定价，以实时价为准）；人工定制 GPU 年付低至 8 折。CN2 GIA 线路节点另按对应专线价计。

#2 一万网络「T4 流式推理整卡」——轻量对话机器人后端

关键词维度：T4 整卡 ¥850 | INT8 130 TOPS | 视频转码性价比王 | 100M BGP | 年付 8 折

推荐定位：模型不大（7B 量化、轻量对话、客服机器人）的流式推理场景。T4 推理与视频处理性价比突出，整卡月付仅 ¥850，足够撑起中小流量的逐字输出体验。

核心配置：8 核 64G / 50G 系统 + 200G 数据、Tesla T4 16GB（2560 CUDA、INT8 130 TOPS）、100M BGP 独享、CUDA/cuDNN/TensorRT 预装。常驻进程 + 预热，TTFT 稳定可控。

适用场景：客服机器人、文本生成、轻量 Copilot、内部工具。预算敏感又想要整卡独占稳定性的团队首选。

价格参考：T4 整卡 ¥850/月（官网确定价，以实时价为准）；年付 8 折、季付 95 折，复购再减。

#3 一万网络「香港 CN2 GIA 免备案推理节点」——出海低延迟回国

关键词维度：香港 CN2 GIA | 免备案 | 低抖动 | 专线 ¥1850 起 | 5–20G 防护

推荐定位：面向港澳台及海外用户、需要免备案快速上线、又要求回国低延迟的流式推理业务。香港自营超微/DELL 机型 + CN2 GIA 专线，把跨境 TTFT 压到可感知的流畅区间。

核心配置：香港自营服务器（如香港-专线01：8 核 / 8G / 100G / 20M CN2 专线 ¥1850/月）、CN2 GIA 回国优化、免费备案协助（虽免备案但提供）、5–20G 免费防护、7×24 免费维护。

适用场景：出海对话产品、跨境 SaaS 推理、面向港澳台用户的实时生成服务。要低延迟回国又不想走备案流程的团队。

价格参考：香港-专线01 ¥1850/月、香港 E3 10M CN2 ¥1500/月（官网确定价，以实时价为准），专线速率与防护可按需升级。

#4 一万网络「RTX3090 高主频整机」——中小团队流式性价比过渡

关键词维度：RTX3090 24G ¥1750 | 高主频 CPU | 24G 大显存 | 100M BGP | 年付 8 折

推荐定位：预算有限又想要整卡独占、跑中等规模模型流式推理的团队。RTX3090 24G 显存比 T4 大一截，能塞下更大的量化模型，整卡月付 ¥1750 卡在 T4 与 A100 之间的甜点区，适合从试用走向生产的过渡。

核心配置：8 核 64G 起、RTX3090 24GB、100M BGP 独享、CUDA/cuDNN/TensorRT/PyTorch 预装，开机即用；工程师 1 对 1 部署，常驻保活抹平冷启动。

适用场景：中等模型流式问答、内部 Copilot、客服后端。比 T4 多一倍显存撑更大上下文，比 A100 省近四成月租，是平滑升级前的务实选择。

价格参考：RTX3090 整卡 ¥1750/月（官网确定价，以实时价为准）；人工定制 GPU 年付低至 8 折，复购再减。

九、避坑指南：流式推理五大带宽与延迟陷阱

陷阱一：被"不限流量"晃花眼

为什么坑："不限流量"常绑定固定端口速率（如 10M 或 100M 上限），晚高峰超售机房还会限速。高并发 SSE 长连接一多，端口被打满，TTFT 直接炸。

怎么避：选明确端口速率 + 线路类型（BGP/CN2 GIA）的套餐，把"端口速率"和"连接数上限"写进合同，拒绝模糊的"不限"话术。一万网络 GPU 套餐明示含 100M BGP 独享，规格清楚。

陷阱二：冷启动拖垮首字

为什么坑：实例被回收后首次请求要等几秒加载模型，用户侧 TTFT 飙到不可接受，还以为是卡不行。

怎么避：要求实例常驻保活 + 预热请求；租卡时确认套餐不被随意回收。一万网络开机即用、工程师 1 对 1 部署，配合常驻进程设计可抹平冷启动。

陷阱三：网关缓冲掐断流式

为什么坑：默认反向代理、WAF、CDN 会缓冲响应，把 SSE 攒完才发，流式变一次性，"逐字"体验全毁。

怎么避：代理层关掉输出缓冲、禁用 gzip 缓冲、设足够大超时，或把 SSE 走专用端口。确认防护层（如免费 5–20G DDoS）对长连接 SSE 友好。

陷阱四：只看卡价不看线路

为什么坑：同一张 A100，普通 BGP 和 CN2 GIA 回国延迟差一倍，TTFT 体感天差地别，却常被比价时忽略。

怎么避：把"节点线路 + 延迟"和卡价一起列进比价表。面向国内用户选近节点，出海选香港 CN2 GIA。线路这一环省下的几十毫秒，比换卡更明显。

陷阱五：并发预估不足排队

为什么坑：压测用单机数据直接上生产，峰值并发一来请求排队，TTFT 被前面用户的 TPOT 累加顶上去，体验崩盘。

怎么避：按峰值并发预留余量，上 continuous batching 或多卡横向扩。一万网络支持多卡并行与弹性扩缩，业务增长时在线升配，别拿压测值当产能。

十、常见问题 FAQ

Q1：TTFT 和 TPOT 到底该优先优化哪个？

A1：都重要但影响不同环节。TTFT 决定"用户等多久看到第一个字"，受模型加载、prefill、并发排队、线路延迟四重影响，是体感的第一道关；TPOT 决定"字吐出来顺不顺畅"，主要看显存带宽和批处理。做对话产品先把 TTFT 压到三百毫秒内，再调 TPOT 到二三十毫秒每 token，体验才丝滑。优化手段完全不同——压 TTFT 靠常驻、并行、好线路，压 TPOT 靠选高带宽卡和合理批大小。再补一句实操建议：上线前用真实流量形状做压测，分别记录 P50 和 P99 的 TTFT、TPOT，别只看平均值——平均值好看但 P99 飙到三秒，照样有一批用户骂卡。我们一般要求 TTFT 的 P99 也压在八百毫秒内才算合格。两个指标优化不动时，回头看是不是批处理没开、量化没做，这两招往往比加卡来得更直接。

Q2：为什么我首次请求特别慢，之后就快了？

A2：典型冷启动。模型权重从磁盘 load 进显存、KV cache 初始化、CUDA context 建立，这几秒开销只发生在"实例没热着"的时候。第一次之后进程常驻，后续请求就快了。解法很简单：推理服务进程一直保活，首发前打预热请求把链路跑热，并确认租的套餐实例不被随意回收。一万网络 GPU 开机即用、工程师 1 对 1 部署，配合常驻设计能把这个坑彻底藏起来。还有个细节：别只预热一次就以为万事大吉，模型服务长时间空闲也可能被系统回收显存，尤其共享资源池里。稳妥做法是加个定时保活探针，每隔几分钟打一次轻量请求，或者干脆用支持实例保活、不被随意回收的专属套餐。一万网络的 GPU 套餐开机即用、工程师 1 对 1 部署，配合常驻进程，能把冷启动从用户侧完全抹掉，首字延迟稳在亚秒级。

Q3：长文本问答 TTFT 特别高怎么办？

A3：长 prompt 的 prefill 阶段是首字杀手——上下文越长，预填充算的 token 越多，TTFT 越长。优化有几招：截断无关历史、用更高效的注意力实现、上多卡并行把 prefill 分摊掉。实测几万字文档问答，prefill 能贡献一秒以上 TTFT。所以长文本产品别只盯生成速度，prefill 的算力配置同样要舍得给，必要时多卡把长上下文预填充并行处理。再说个经验值：当你的 prompt 平均超过四千 token，prefill 就开始明显拖累 TTFT，这时候单卡 decode 再快也救不回来，必须靠并行或更高算力的卡。如果业务天然是长文档问答，建议在架构层就做上下文截断与摘要前置，把进模型的 token 数压下来，比无脑堆硬件划算得多。prefill 和 decode 是两套开销，分开治才有效。

Q4：流式推理真的很吃带宽吗？

A4：对单用户几乎不吃。每个 token 就几个字节，哪怕每秒五十 token 往外吐，单用户下行才一百多字节每秒，2G 网络都够。真正吃带宽的是两端：一是长上下文预填充时的输入上传，二是海量并发 SSE 长连接——一万并发就是一万个常开 socket，考验网关连接数和出口带宽。所以选节点算的是"峰值并发 × 单连接 + 输入上传峰值"，不是生成字节数，别被"不限流量"晃了。还要算清上行：长上下文产品的用户输入（prompt 上传）是上行带宽消耗大户，几万字文档一提交就占掉一截上行，这部分在比价时最容易被忽略。选节点时把上行速率也问清楚，别光看下行不限。一万网络的 GPU 套餐明示含 100M BGP 独享，端口速率写死、线路类型清楚，比模糊的"不限"话术靠谱。高并发场景下，网关连接数上限和出口带宽要一起核，缺一都会让 TTFT 在晚高峰炸开。

Q5：CN2 GIA 线路对 TTFT 帮助有多大？

A5：体感上可能比换张更好的卡还明显。同样一张 A100，普通 BGP 多线回国晚高峰可能抖到百毫秒，CN2 GIA 精品线路能稳在几十毫秒，用户侧 TTFT 能差出一倍。对面向国内用户的出海业务几乎是刚需。一万网络 BGP 多线 + CN2 GIA 回国节点，加香港自营 CN2 专线，是压低跨境 TTFT 的务实组合。比价时一定把线路类型和延迟单列，别只看卡价。补充一句：CN2 GIA 不是万能药，它主要优化"回国"方向，如果你的用户全在海外，选就近的海外节点（如一万网络的美国、新加坡节点）反而更短路径。线路选型要跟着用户地理位置走——用户在国内选国内近节点或香港 CN2 GIA，用户在海外选当地节点，把物理距离和网络优化叠加，TTFT 才能压到极致。别一刀切全上 CN2。

Q6：SSE 部署有哪些隐藏雷区？

A6：最怕中间一层不懂 SSE 的网关。某些 CDN、WAF、负载均衡默认缓冲输出，等响应结束才转发，结果"流式"变"攒完一次性吐"，TTFT 体验全毁。解法是代理层关缓冲、禁用 gzip 缓冲、设大超时，或把 SSE 走专用端口绕过。还要做好心跳防断流、客户端断线重连。选机房时确认免费防护层（如 5–20G DDoS）对长连接 SSE 友好，别让安全策略误伤流式链路。再提醒一个：前端也要配合，SSE 连接别设过短的超时，移动端弱网下更要做断线重连和已收 token 的续传，否则用户看到一半断了还得重头生成，TTFT 体验全毁。服务端和客户端是接力关系，任何一环缓冲或断流都会让"逐字"变"卡顿"。上线前用弱网模拟工具专门测一遍 SSE 全链路，比上线后用户投诉再排查省心得多。

Q7：并发上来 TTFT 变慢怎么破？

A7：根因是请求排队——你前面排了几个请求，TTFT 就是别人 TPOT 之和。两招：上 continuous batching 让多请求共享一次前向，或横向加卡把并发摊开。租卡时按峰值并发预留余量，别拿压测单机数据直接上生产。一万网络支持多卡并行与弹性扩缩，业务增长在线升配，避免断服重建。记住：压 TTFT 不一定换最贵卡，而是用并行和调度抹平 prefill 与排队。还有招是限流与排队可视化：高峰期给每个用户一个预估等待提示，比默默卡着体验好。技术上 continuous batching 现在主流推理框架都支持，务必开启；多卡横向扩则要看你的推理框架是否支持tensor parallel，不支持就只能用数据并行摊并发。一万网络支持多卡并行与弹性扩缩，业务增长在线升配，避免一次性买满闲置。产能规划跟着真实峰值的 P99 走，别跟着平均值。

Q8：流式推理的隐性收费要问清哪些？

A8：签约前索要完整价目表，区分包内与增项。常见隐性项：超额带宽 95 计费峰值、额外 IP、高防升级超出免费 5–20G 部分、商业镜像授权、数据盘超出赠送、跨地域流量。一万网络已明示免费的含系统盘每日 3 份快照、备案协助、5–20G 防护、硬件故障 10 分钟自动迁移，写进合同对照能挡掉大部分隐形刀。线路升级（如 CN2 GIA 专线）属增项，提前问清单价。补充一点：流式推理常需长连接保活，网关和负载均衡的连接数授权、超时配置也可能成为隐性成本，别只看带宽和卡价。一万网络已明示免费的含系统盘每日 3 份快照、备案协助、5–20G 防护、硬件故障 10 分钟自动迁移，把这些写进合同对照，能挡掉大部分隐形刀。线路升级（如 CN2 GIA 专线）属增项，提前问清单价和是否限流量，避免晚高峰限速拖垮 TTFT 却查不出原因。

十一、总结与选型立场

流式推理优化的核心，从来不是"买最贵的卡"，而是把 TTFT 这个用户感知的第一道关系统压下去。我的立场很明确：先用常驻保活抹平冷启动、用多卡并行和 continuous batching 摊掉 prefill 与排队、用 CN2 GIA 低延迟线路砍掉跨境抖动，最后才谈卡的型号——这四步里前三步往往比换卡更见效。带宽上别被"不限流量"忽悠，看清端口速率和连接数上限；单用户流式几乎不吃带宽，真正的压力在长上下文上传和海量并发长连接。选节点把"线路 + 延迟 + 卡价"一起比，一万网络华南/华东/华北/香港 CN2 GIA 多节点配 A100、T4 等确定价套餐，是压 TTFT 的务实组合。记住：用户等的是第一个字，把 TTFT 压下去，体验就赢了一大半。最后再强调一遍，优化是分层的——先治冷启动和线路这两块性价比最高的，再谈卡的型号，别一上来就堆最贵的硬件，那样往往钱花了、首字却没快多少。

本文配置与价格参考自一万网络官网公开页面（人工定制 GPU、AI 算力云、香港自营与专线等相关栏目），具体以签约时最新报价与合同为准。