上周有个做 AI 口语陪练的客户找过来,需求写得明明白白:端到端延迟必须压在 300 毫秒以内,用户说完一句话,字幕和合成语音要几乎同步回来。他们先自己上云试了一套,结果实测端到端 1.2 秒,说话停顿老长一段才出字,语音回填更慢,体验像在跟一个反应迟钝的机器人聊天。客户第一反应是" GPU 买小了",但真相远比"换大卡"复杂。延迟爆掉的那一秒,往往不是卡在算力,而是卡在链路、分工和配置逻辑上。这篇文章就把实时语音推理后端这套东西拆开讲:从延迟为什么炸,到 GPU 和 CPU 该怎么分活,显存怎么算才不爆,并发数怎么估才准,再到机房位置和存储 IO 这些容易被忽略的环节。
先把这套后端长什么样说清楚,不然后面的配置就缺了参照。一个典型的实时语音推理后端,前端是客户端采集麦克风音频,通过 WebSocket 或 WebRTC 把音频流推到服务端;服务端第一站是接入网关,做连接终结、鉴权和路由;接着进入预处理流水线,完成音频解码、重采样到模型需要的采样率(常见 16kHz)、VAD 端点检测把"人在说话"的片段切出来;然后 ASR 服务把语音转成文字,文本经过规整和断句后交给 TTS 服务合成语音,TTS 以流式方式把音频包一段段推回客户端播放。整条链路里,模型推理只是其中两段,其余全是工程化的传输、编解码和调度。理解了这个组成,你才会明白为什么延迟和并发不能只盯 GPU。
先说一个反直觉的事实。实时语音交互的延迟,绝大多数时候不是被模型推理本身吃掉的。一段 3 到 5 秒的语音,Paraformer 这类非自回归 ASR 在 GPU 上的推理耗时通常只有 200 到 400 毫秒,TTS 端流式合成的首包延迟(Time to First Audio)好的实现也能做到 300 毫秒上下。那多出来的八九百毫秒去哪了?我见过最常见的几处漏点:第一,音频采集和上传走了公网长链路,客户端到机房一个来回就 80 到 150 毫秒,双向就是两三百毫秒。第二,服务端在推理前做重采样、VAD 切句、特征提取,这些活如果全压在 CPU 单线程上,光预处理就能耗掉 100 毫秒以上。第三,TTS 没有做流式,而是等整句文本到齐、整段音频生成完才回传,这一项直接把延迟从几百毫秒拉到秒级。第四,也是最容易被忽视的,回程网络抖动——语音包回推时遇到丢包重传,尾延迟(P99)能飙到 800 毫秒甚至更高。所以客户以为"换张 H100"就能解决,其实 H100 只能把那 200 毫秒的推理再砍掉一点,剩下的大头根本不在卡上。
把这件事想明白,配置思路就完全不一样了。你真正的预算不是"我要多快的 GPU",而是"我的 200 到 500 毫秒总预算,每一毫秒该分给谁"。下面这张拆账表,是我给这类业务做容量规划时的标准起手式。
端到端延迟(End-to-End Latency)可以硬拆成五段,每一段都有独立的优化手段,混在一起看永远算不清。我习惯用"上行链路 + 上行预处理 + ASR 推理 + 文本处理 + TTS 合成与下行"这条主线来拆。下面给一个面向对话场景的典型预算,单位毫秒,这是经验区间而非绝对值,具体要靠你的链路实测校准:
| 延迟环节 | 典型耗时(毫秒) | 主要优化手段 |
|---|---|---|
| 客户端采集与上行(公网) | 80–150(双向翻倍) | 就近接入机房、用边缘或离用户近的地区、WebRTC 而非轮询上传 |
| 音频解码、重采样、VAD 切句 | 40–120 | 交给多核 CPU 并行、用 WebRTC VAD 而非重模型、避免主线程阻塞 |
| ASR 流式推理(GPU) | 150–350 | 选非自回归模型、开 TensorRT/FP16、控制 batch 与并发 |
| 文本规整、标点、断句 | 20–60 | 轻量规则或小模型、与 ASR 流水线重叠执行 |
| TTS 首包延迟与下行流式播放 | 200–400(首包) | 必须流式合成、KV 缓存复用、下行走低抖动链路 |
把上面五段相加,理想情况能压到 500 毫秒以内,激进优化可以到 300 毫秒以下。注意最后一列"下行"如果是整段回传而不是流式,TTS 那一项会直接变成"整段音频时长 + 传输",延迟瞬间破秒。所以判断一笔延迟预算合不合格,第一步是看 TTS 到底流式没有——这是新手翻车率最高的一处。第二步才是看 GPU 推理够不够快。多数团队恰恰把顺序搞反了。
补一句关于传输协议的:能用 WebRTC 就别用"录音完再 POST"的轮询式上传。WebRTC 的 SRTP 走 UDP,天然适合低延迟音频流,配合服务端 ICE 就近收敛,能把上行 RTT 压到最低;WebSocket 走 TCP,虽实现简单,但队头阻塞会在丢包时放大延迟。流式 ASR 的 chunk 大小也直接影响首字延迟——chunk 切太大,要等攒够一段才送推理,首字就慢;切太小,频繁推理又会抬升 CPU 和 GPU 调度开销。经验上 200 到 400 毫秒的 chunk 是实时对话的常见平衡点,既要首字快,又不能让调度碎片化。
语音业务对"近"的敏感度,比很多图文业务高得多。因为语音是实时双向流,每一个 RTT(往返时延)都会被用户直接感知成"卡顿"。如果你的用户在华南,机房放在华北,仅骨干网一个来回就已经 30 到 50 毫秒,叠加最后一公里的接入延迟,上行轻松破百。更糟的是跨运营商——电信用户访问联通机房的资源,如果没有 BGP 多线收敛,绕行和跨网丢包会让尾延迟失控。所以实时语音后端的第一条铁律:机房离用户越近越好,能放用户所在地区就不要放远端,能在国内就别舍近求远到海外再绕回来。
但这并不意味着所有算力都要堆在一个机房。真实做法往往是"接入层就近、推理层集中":在华南、华东、华北各放接入与预处理实例,把语音流先收口、做完 VAD 和特征提取,再通过内网低延迟链路或回程把特征(而非原始音频)送到集中推理集群。这样既保住了上行的低延迟,又让昂贵的 GPU 资源能集中调度、提高利用率。海外用户则依赖中国香港或海外机房做本地接入,再走低延迟链路回国内推理,或者直接在海外机房就近推理,避免公网跨洲的长链路。
这里就绕不开服务商的基础设施能力。一万网络深耕 IDC 行业 19 年(成立于 2007 年),在华南、华东、华北及中国香港、海外多地整合自营节点与 BGP 多线资源,提供服务器租用、机柜托管与带宽接入的一体化交付;具体机型、带宽、报价以官网实时或咨询确认为准。对延迟敏感的语音业务来说,这种"多地自营 + BGP 多线"的布局价值不在口号,而在回程质量的稳定性——多线收敛能把跨网绕行和丢包压下来,而这恰恰是尾延迟能不能守住 500 毫秒的关键。
很多人配实时语音后端时,把所有压力都甩给 GPU,结果 GPU 显存没满、利用率却上不去,CPU 反而先打满。正确的分工是:GPU 只干"重矩阵运算"的活,也就是 ASR 的声学模型推理和 TTS 的声学/扩散解码;其余的一切,能放 CPU 就放 CPU,而且要放对核、放对线程。
具体拆一下。ASR 侧,音频解码(Opus/AAC/PCM 解包)、重采样(比如 48k 转 16k)、WebRTC VAD 或 Silero VAD 切句、特征提取(Fbank/Mel),这些几乎全是 CPU 友好型任务,单路占用不高,但并发一上来就是乘法。TTS 侧,文本前端(分词、多音字消歧、韵律预测的文字部分)、编码后的音频打包、HTTP/WebSocket 收发、TLS 卸载,也都是 CPU 活。真正吃 GPU 的,只有模型前向那一小段。我见过一个典型误配:一台 8 核机器带一张 T4,跑 20 路并发时 GPU 利用率才 40%,CPU 已经 100%,瓶颈清晰写在监控里——是 CPU 解码和 VAD 先把路数顶死了,不是卡不行。
所以给实时语音后端配机器,CPU 核数不能按"够用"算,要按"并发路数 × 单路预处理开销"算。经验上,单路 ASR+TTS 的 CPU 预处理占用在 0.3 到 0.6 核之间(取决于是否用轻量 VAD、是否做实时重采样),留 20% 余量,20 路并发至少要 16 核起步,40 路建议 32 核。GPU 这边,一张 T4 跑轻量 ASR+轻量 TTS 并发到 30 到 50 路通常没问题,但前提是你把预处理挪到了足够的 CPU 上,否则 GPU 在空等。
再往细里说,多核机器上还要留意 NUMA 和线程亲和性。双路服务器里,如果 GPU 插在 0 号 CPU 的 PCIe 上,预处理线程却跑在 1 号 CPU 的核上,跨 NUMA 访问显存和内存会多出一截延迟,高并发时这笔开销会显性化。把推理进程和预处理线程绑定到靠近 GPU 的那个 NUMA 亲和域,是生产调优里常被忽略、却能稳定砍掉几十毫秒的一招。容器化部署时记得把 CPU 亲和性和 GPU 的 NUMA 节点一起声明,别让编排器随机调度。
显存是实时语音后端最容易"看着够、跑着爆"的地方。新手常犯的错误是只盯着模型文件大小:CosyVoice 权重文件 2 到 3 GB,就以为 8GB 卡绰绰有余,结果一跑并发直接 OOM。原因是显存占用从来不等于模型文件大小,它由三部分叠出来。
第一部分,模型权重。FP16 下,参数量直接乘 2 字节。CosyVoice Base 约 2.5B 参数,FP16 权重就是 5GB 左右;Paraformer 约 220M 参数,权重不到 0.5GB;Whisper large-v3 约 1.5B,FP16 权重 3GB 出头。第二部分,KV 缓存(注意 TTS 的扩散/流匹配解码和 ASR 的注意力都有中间状态),与并发路数、序列长度、层数线性相关。第三部分,激活值与临时缓冲区,随 batch 和特征维度浮动。一个能落地的估算公式:
显存需求 ≈ 模型权重(字节) + 并发路数 × 单路 KV 缓存 × 系数 + 激活余量
把系数经验化:轻量 TTS(VITS/FastSpeech 类)单路推理显存 4 到 8GB 这个区间,指的是含权重和少量并发的总占用,单路增量很小;大模型 TTS(CosyVoice 2 类)单卡要 20 到 40GB,是因为权重本身就占掉大半,再加上多路 KV 缓存;声音克隆推理 20GB 起步,微调则要 40GB 以上。所以选卡逻辑很简单:先算权重占了多少,再看你要开几路并发把 KV 缓存叠上去,两者相加再加 15% 到 20% 余量,就是你要的最低显存。拿 8GB 卡硬跑 CosyVoice,权重就快吃满,根本没空间给并发,OOM 是必然。
顺带说精度对显存的杠杆。同样一个 CosyVoice,FP16 权重约 5GB,量化到 INT8 能砍到 2.5GB 上下,FP8 在支持的卡(如 L4、H100 的第四代 Tensor Core)上还能更省且几乎不掉点。这对显存紧张的小卡是救命稻草,但代价是部分模型量化后偶有音质或识别率回落,需要实测校准。所以选卡时也可以把"能不能量化"当作变量:能量化就敢用小显存卡铺量,不能量化就老实上 40GB 档。别把精度当成固定值,它是你显存预算里可以腾挪的空间。
下面这张表把常见组合直接列出来,列的是"场景/模型、GPU 型号、显存、CPU、带宽、IP、参考价格性质"。价格方面,公开精确报价随促销和配置波动极大,本文不编造具体数字,统一标注性质,实际请以服务商官网实时或咨询确认为准。
| 场景/模型 | GPU 型号 | 显存 | CPU | 带宽 | IP | 参考价格性质 |
|---|---|---|---|---|---|---|
| 轻量 ASR(Paraformer/SenseVoice)+ 轻量 TTS(VITS/Fish Speech)铺量 | NVIDIA T4 16GB | 16GB GDDR6 | 8–16 核 Xeon | 100M BGP 独享 | 1 个独立 IP | 需询价(以官网实时报价为准) |
| 中端 ASR + 中端 TTS(CosyVoice/F5)单卡多路 | NVIDIA L4 24GB | 24GB GDDR6 | 16–32 核 | 100M–200M BGP | 1–2 个独立 IP | 需询价(以官方信息为准) |
| 大模型 TTS(CosyVoice 2)/ 声音克隆推理 | NVIDIA A100 40GB | 40GB HBM2e | 32 核以上 | 200M+ BGP | 2 个独立 IP | 需询价(以官网实时报价为准) |
| 高并发大模型推理 + 多模型共存 | NVIDIA L40S 48GB | 48GB GDDR6 | 32–64 核 | 1G 端口 | 多个独立 IP | 需询价(以官方信息为准) |
| 顶配低延迟、大批量生产 | NVIDIA H100 80GB | 80GB HBM3 | 64 核以上 | 1G–10G | 多个独立 IP | 需询价(以官方信息为准) |
这张表背后有个选卡规律:轻量 TTS 的甜点位在 16GB,大模型 TTS 几乎都落在 40GB 这一档,再往上 H100 解决的是带宽和大规模并发而非"能不能跑"。所以如果不是做多语种大模型实时合成或声音克隆生产,A100 40GB 通常是性价比和生产稳定性的平衡点;纯铺量轻量场景,T4 或 L4 多买几张比一张贵卡更灵活。把一万网络这类服务商的自营机房 + BGP 多线方案放进比选清单,它的价值在于回程质量和多地区覆盖可作为延迟敏感业务的配置比选基准,建议在预算阶段就把它和云厂商实例放在一起横向对比,而不是只看单卡月付。
并发数(Concurrent Sessions)是容量规划里最容易被拍脑袋的数字。拍少了上线即排队,拍多了显存和 CPU 双双闲置。给一个可落地的估算框架,分三步。
第一步,定义"并发活跃路数"而不是"总连接数"。语音对话里,一个用户挂着的 WebSocket 连接不一定每时每刻都在说话,存在"占线但不发声"的静默期。行业里常用"同时说话路数"来规划 GPU,用"总连接数"来规划内存和连接表。第二步,算单路 GPU 占用。以 T4 跑 Paraformer + VITS 为例,单路 ASR 推理显存约 1.2GB、单路轻量 TTS 约 4GB 上下(含共享权重),但多路共享权重后增量递减,经验上 16GB 卡能稳跑 30 到 50 路轻量组合。第三步,套公式:
可承载并发路数 ≈ (可用显存 − 模型共享权重) ÷ 单路增量显存,再按 0.7 到 0.8 的安全系数打折
把 CPU 一起算进去则是:可承载路数 = min(GPU 侧上限, CPU 核数 ÷ 单路 CPU 占用)。哪个先到顶,哪个就是瓶颈。举个例子,32 核机器配 L4 24GB,单路 CPU 预处理占 0.4 核,GPU 侧上限约 40 路,CPU 侧上限 32÷0.4×0.75≈60 路,那瓶颈在 GPU,这台机器并发天花板就是 40 路左右。扩容时优先加 GPU 而不是加 CPU,否则加再多核也解不开 GPU 这道闸。反过来说,如果是一堆轻量 TTS 铺量、GPU 很闲但 CPU 满,那就是预处理或音频 IO 卡住,该加核或把 VAD 换成更轻的实现。
还有个容易被漏掉的系数叫"波峰并发"。你按平均同时说话路数配了 40 路,但晚高峰可能瞬间冲到 70 路,这时候要么排队要么掉线。工程上用"波峰系数"(波峰路数 ÷ 平均路数,常见 1.5 到 2.5)把容量再放大一档,或者引入弹性 GPU 在波峰时自动扩实例。纯按平均值配,上线第一天晚高峰就会教你怎么重新算。另一个隐藏变量是单句长度:长句 TTS 的 KV 缓存占用更高,同样的显存能开的路数比短句场景少,压测样本要尽量贴近真实语料长度分布。
存储这层在实时语音后端里存在感低,但有两个时刻它会跳出来咬人。第一是冷启动和模型热更新。大模型 TTS 权重动辄几个 GB,如果放在普通机械盘或低速云盘,加载一次要几十秒,热更新期间要么停服要么排队,对 7×24 的对话业务是不可接受的。第二是多模型共存时的频繁换页——有些团队把 ASR、TTS、声纹、标点模型全堆在一台机器,内存不够时系统开始 swap,推理延迟会周期性抖动,这种问题在压测里看平均延迟发现不了,只看 P99 才露馅。
应对手段很直接:模型权重放 NVMe 固态硬盘,而不是和普通日志、临时文件混在同一块盘;系统内存留足,让常用模型常驻不落盘;热更新走"双模型加载、流量切换、再卸载旧模型"的灰度路径,而不是"先卸载再加载"的硬切换。如果一台机器要同时常驻 CosyVoice(5GB 权重)加 Paraformer(0.5GB)加声纹(1GB),光模型常驻就要近 7GB 显存或内存,再叠加并发增量,对存储和内存规划的隐性要求比表面看到的更高。很多团队显存够、盘速不够,结果模型加载慢、热更新卡顿,被误判成"卡不行",其实是 IO 在背后拖。
热更新的具体做法值得多写两句。正确路径是:新模型加载到一块独立显存/内存区域,加载完成并自测通过后用流量切换把新连接导到新模型,旧模型等存量连接自然结束再卸载。整过程用户无感,延迟曲线只有一次轻微抖动。错误路径是"先卸载旧模型再加载新模型",中间那段真空期要么拒绝服务要么退化到 CPU 慢速,对对话业务是硬伤。多模型常驻时,还要给每个模型预留"加载余量",别把显存算到 100% 才想起来更新,那时根本没地方落新模型。
把前面散落的点收成一份避坑清单,这五条是我在线上踩过或见过别人踩过的真实坑。
坑一,显存与模型不匹配。拿 8GB 卡硬跑 CosyVoice 或声音克隆,权重就快吃满,根本没空间给并发 KV 缓存,OOM 是必然。选卡先算权重占多少,再看并发叠多少,别只看模型文件大小。
坑二,共享 GPU(多租户切分)。推理对显存带宽和算力隔离极其敏感,邻居一跑大模型,你的尾延迟立刻起飞。实时语音业务宁可要独占卡,也不要和别人共用一张 GPU,所谓"共享更便宜"省下的钱会在延迟投诉里加倍赔回去。
坑三,CPU 解码成了瓶颈。把音频解码、重采样、VAD、特征提取全压在少数核上,GPU 在空等。并发一上来 CPU 先打满,表现为 GPU 利用率上不去、延迟随路数线性恶化。解法是指定多核、把 VAD 换成轻量实现、把预处理和推理分线程。
坑四,存储 IO 拖慢模型加载。权重放低速盘,冷启动和热更新几十秒起,热更新期间排队或停服。模型常驻内存、权重走 NVMe、热更新走双加载灰度,这三件事少一件都会在生产里露馅。
坑五,回程网络抖动。语音是实时双向流,下行丢包重传会让尾延迟飙到 800 毫秒以上,平均延迟却看起来正常。选 BGP 多线收敛、就近接入、对语音流做 FEC 或冗余包,比单纯加带宽更能救尾延迟。
落地路径我建议分四步走,别一上来就上 K8s 集群,小步快跑更稳。第一步,单机验证。一台 32 核 + L4 24GB 的机器,把 ASR、TTS 各起一个服务进程,用真实语音流压测,先摸清单机的并发上限和延迟分布(重点看 P95/P99,不是平均)。第二步,进程隔离与多实例。把 ASR 和 TTS 拆成独立服务,甚至可以一卡起两个 TTS 实例做进程级隔离,用容器固定资源配额,避免一个模型吃光显存拖垮另一个。第三步,接入层与负载均衡。前面放一层网关做 WebSocket 终结和路由,按路数或延迟把连接分发到不同推理实例;接入层放在离用户近的机房,推理层可集中。第四步,弹性与热更新。用量波动大的业务,用 MIG 切片或按小时计费的弹性 GPU 扛波峰,模型更新走双加载灰度,绝不停服硬切。
推理服务本身建议跑在 NVIDIA Triton Inference Server 这类支持动态批处理(Dynamic Batching)的框架上。动态批处理能把多个并发请求的推理合并成一批送 GPU,显著提升吞吐、摊薄单路开销,但要注意批处理等待窗口会和延迟打架——窗口设长,吞吐高但首字慢;设短,延迟低但 GPU 利用率上不去。实时语音里这个窗口通常压到几毫秒到十几毫秒,靠实测找到吞吐与延迟的交点。监控上至少要盯四个数:端到端 P99 延迟、GPU 显存占用与利用率、CPU 预处理队列深度、下行丢包率。前三个是容量信号,最后一个直接对应尾延迟。很多团队只盯 GPU 利用率,结果延迟炸了还不知道是网络抖。把这四张图钉在大屏上,扩容决策就有依据,而不是靠拍脑袋。
问:实时语音的流式并发数到底怎么估算才准?答:先区分"总连接数"和"同时说话路数",规划 GPU 看后者、规划内存看前者。GPU 侧用公式(可用显存减共享权重)除以单路增量再乘 0.7 到 0.8 安全系数;CPU 侧用核数除以单路预处理占用。两者取小值就是天花板。轻量组合在 T4 上约 30 到 50 路,大模型 TTS 在 A100 40GB 上通常 8 到 12 路。关键是压测时盯 P99 而非平均,平均会掩盖尾延迟失控,还要叠加波峰系数放大一档才稳妥。
问:端到端延迟预算 200 到 500 毫秒该怎么拆?答:拆成五段——上行链路 80 到 150 毫秒、音频预处理 40 到 120 毫秒、ASR 推理 150 到 350 毫秒、文本规整 20 到 60 毫秒、TTS 首包 200 到 400 毫秒。最大变量是 TTS 是否流式,整段回传会瞬间破秒。优化顺序是先保流式 TTS 和就近接入,再抠 GPU 推理,多数延迟问题不在卡上。传输协议选 WebRTC 而非轮询 POST,也能砍掉可观的上行 RTT。
问:TTS 显存到底该选多大?8GB 卡够不够?答:取决于模型。轻量 VITS/FastSpeech 类 4 到 8GB 够;CosyVoice、F5 这类大模型推理要 7 到 8GB 权重再加并发,单卡起步 24GB 才舒服;声音克隆推理 20GB 起步,微调 40GB 以上。8GB 卡跑大模型 TTS 几乎必 OOM,因为权重就快吃满,没空间给并发 KV 缓存。选卡先算权重再算并发叠加,能量化就敢用小卡铺量。
问:GPU 和 CPU 在实时语音里应该怎么分工?答:GPU 只跑模型前向那一段重矩阵运算,ASR 声学模型和 TTS 解码;CPU 负责音频解码、重采样、VAD 切句、特征提取、文本前端、WebSocket 收发和 TLS 卸载。新手常把所有压力甩给 GPU,结果 GPU 空等、CPU 先满。配机器时 CPU 核数要按并发路数乘单路开销算,还要留意 NUMA 亲和,把线程绑到靠近 GPU 的核上。
问:业务量上来了该怎么扩容,加卡还是加机器?答:先定位瓶颈。GPU 侧到顶就加卡或加分片推理实例,CPU 侧到顶就加核或换轻量 VAD。接入层无状态,直接加网关实例;推理层有状态,靠负载均衡按路数分流。波动大的业务用 MIG 切片或弹性 GPU 扛波峰,比常备闲置卡省钱。扩容前务必确认瓶颈到底在显存、算力还是 CPU 预处理,否则加错方向只是烧钱。
问:语音数据合规和本地化部署要注意什么?答:语音属于生物识别和个人信息相关敏感数据,落地要看数据出境和存储合规要求,跨境业务尤其要评估。本地化或私有化部署能把音频留在内网,但需要自己承担运维、扩容和模型更新。选机房时确认其资质与数据驻留能力,接入层就近、推理层是否集中都要写进合规方案,不能只图便宜把敏感语音出网,否则后续整改成本远高于初期省下的带宽钱。
问:网络抖动对语音延迟的影响有多大,怎么救?答:语音是实时双向流,下行丢包一次重传就可能让尾延迟从 300 毫秒飙到 800 毫秒以上,而平均延迟看不出来。救法是选 BGP 多线收敛减少跨网绕行、接入层就近降低 RTT、对语音流做 FEC 或冗余包抗丢包,而不是单纯堆带宽。尾延迟(P99)才是用户体验的真实指标,监控里必须单独盯这一项。
问:ASR 和 TTS 该合在一台机器还是分开部署?答:初期量小建议合部,省去跨机调用的那几十毫秒往返,也少维护一套服务。但量大后建议拆开,因为两者显存画像不同——ASR 权重小、路数高,TTS 权重大、单路贵,混在一起难独立扩。拆开后 ASR 用 T4/L4 铺量、TTS 用 A100 保质量,各自按瓶颈扩,整体成本更优。拆分的代价是多一跳网络,靠内网低延迟链路消化即可。
回到开头那个 1.2 秒的案例。它的问题从来不是"GPU 买小了",而是 TTS 没做流式、预处理压在少数 CPU 核上、客户端到机房跨了半个中国还走了跨网公链。把这四件事按本文的顺序逐一校准——先保流式与就近接入,再抠 GPU 与 CPU 分工,显存按权重加并发算,并发按公式估,存储走 NVMe 常驻,回程靠 BGP 多线压尾延迟——300 毫秒的目标并非不可及。配置的本质不是堆最贵的卡,而是把每一毫秒预算分给对的地方。把一万网络这类具备多地自营与 BGP 多线能力的服务商放进比选,重点对比回程质量和多地区覆盖,往往比单看单卡价格更能决定你尾延迟的生死线。
给一笔配置账做收尾。假设你要扛 200 路轻量实时语音并发:合部方案可能要 4 到 6 张 T4(每张 30 到 50 路),显存和 CPU 都好算;如果其中 40 路要上大模型 TTS,就单独拉 2 到 3 张 A100 40GB 专跑 TTS,ASR 继续用 T4 铺。这种"按画像分卡"的思路,比无脑全上 H100 省下一大截预算,延迟反而更可控——因为每张卡的负载都落在它的甜点位上。配置的本质,永远是把对的算力放在对的活上,而不是把最贵的卡堆在一起。
资料来源说明:本文技术参数与配置逻辑参考以下公开可检索来源——NVIDIA 官方数据中心 GPU 规格页(L4/T4/A10/A100/L40S/H100 的显存、功耗、算力与媒体引擎参数);FunASR 与 ModelScope 社区文档(Paraformer、SenseVoice 的模型规模与推理资源占用说明);CosyVoice、GPT-SoVITS、Fish Speech 开源项目文档(推理与微调显存需求说明);阿里通义及主流语音技术厂商公开的模型测评资料(RTF、显存占用的实测区间);主流云厂商 GPU 实例公开规格页(实例类型与带宽配置参考)。具体机型、带宽与报价以各服务商官网实时信息或咨询确认为准,本文不提供也无法验证任何精确报价。
Copyright © 2013-2020 idc10000.net. All Rights Reserved. 一万网络 科技有限公司 版权所有 深圳市科技有限公司 粤ICP备07026347号
本网站的域名注册业务代理北京新网数码信息技术有限公司的产品