关于我们

小显存跑大模型，靠的不是堆卡是"压缩术"

这两年一个特别现实的需求是：公司手里只有一张消费级显卡，甚至只有二十四显存，却想跑起一个七十亿、一百四十亿参数的模型对外提供服务。直接加载原始模型？显存直接爆。解决办法不是加钱上 A100，而是先做"蒸馏"和"量化"——把大模型压小、把精度压低，让小卡也能扛。我帮不少创业团队搭过这种"小卡跑大模"的推理服务，说句大实话：同样一个七十亿模型，量化到 INT4 之后显存占用能从十几吉字节掉到四五个吉字节，一张 RTX3090 就能并发服务好几百用户，租金每月才一千七五。这比硬上 A100 省的不是一星半点。

这篇把蒸馏、量化、压缩部署这条链路讲透，重点给你算清楚：什么模型该量化到什么程度、什么卡能跑、租下来一个月多少钱、精度损失怎么控。开头先甩几条核心结论，赶时间的直接看这几条。

核心结论（先看这五条）：

一、量化是显存杀手锏。七十亿参数模型从 FP16 量化到 INT4，显存占用大约降三分之二，二十四显存的 RTX3090 能轻松并发跑好几个量化实例。

二、推理性价比王是 T4。Tesla T4 十六显存月付九百，跑量化后的小模型推理成本极低，适合预算紧的长期在线服务。

三、蒸馏训练需要正经算力。把大模型知识压到小模型里这一步是训练任务，得用 A100 四十显存月付两千八这种档位，不能拿推理卡糊弄。

四、精度损失可控但非零。INT8 基本无损、INT4 略有掉点、INT2 明显变傻，选哪档看你对准确度容忍度，别一味追最小。

五、国产昇腾有价格空间。同档昇腾九百一十 B 预计比 A100 便宜一成到三成，以咨询报价为准，信创或预算敏感可重点看，但生态差异要提前评估。

一、蒸馏、量化、压缩，到底是哪三件事

1.1 量化：把"精度"换成"显存"

先讲量化，这是小卡跑大模型最关键的一步。模型权重原本用 FP16 或半精度存，一个七十亿参数模型光权重就占十几吉字节显存。量化就是把这些权重从高精度变成低精度：INT8 是八位整数、INT4 是四位、再狠点 INT2。每降一档，显存和算力需求大致砍半。INT4 下七十亿模型权重只占四五吉字节，加上推理时的激活值和缓存，二十四显存的卡轻松塞下，还能留余量并发。说白了，量化就是用"一点点精度"换"一大截显存和速度"，对大多数业务推理场景，这点精度损失用户根本感知不到。

但这里有个坑得提醒：量化不是无脑压。INT8 基本无损，业界共识是掉点可以忽略；INT4 会有可测量的掉点，复杂推理任务可能露怯；INT2 基本就变傻了，只适合极粗的 classification。所以量化档位要按任务挑，别一味追最小显存。很多新手把模型压到 INT2 发现答非所问，又回头怪卡不行，其实是自己压太狠。

1.2 蒸馏：把大模型"教"给小模型

量化解决的是"同模型更小"，蒸馏解决的是"更小的模型也能有接近大的能力"。做法是拿一个强老师模型，让它对大量数据生成软标签（带概率分布的答案），再用这些软标签去训练一个学生小模型。学生模型参数少、跑得快、显存小，却学到了老师的部分能力。这一步是训练任务，要算前向加反向、要存梯度优化器状态，对算力要求比纯推理高得多。

你只要记住：蒸馏是"造"小模型的过程，需要训练算力；量化是"瘦身"已有模型的过程，主要吃推理和显存。很多团队搞混了，想拿一张 T4 去做蒸馏训练，结果显存和算力双双不够，训到一半崩。蒸馏阶段该上 A100 就上 A100，训完得到小模型，再量化部署到便宜的推理卡上，这才是成本最优的链路。

1.3 量化算法怎么选：GPTQ、AWQ 还是基础训练后量化

量化不是只有"压到几比特"一个旋钮，算法选型同样决定精度。最朴素的是基础训练后量化，直接按权重分布映射到低精度，实现简单但掉点偏大。GPTQ 是业界常用的后训练量化算法，它通过二阶信息补偿，能在 INT4 下把掉点压得很低，几乎成了开源模型量化的标配。AWQ 走另一条路，认为权重里只有少部分"显著权重"决定精度，只保护这部分做混合精度，其余大胆压，INT4 下精度甚至略优于 GPTQ，且推理内核效率高。选哪个看你的框架支持和模型类型，Transformer 类用 AWQ 或 GPTQ 都行，特殊结构模型先做小样测试再定。

这里给个实操建议：别听人吹某个算法万能。正确做法是拿你真实的评测集，分别跑 INT8、INT4 的 GPTQ 和 AWQ，对比掉点，选掉点最小且推理内核你框架能跑的那个。很多团队卡在"算法很香但框架不支持"，白折腾。一万网络工程师部署时会按你的模型帮选量化方案和框架，比自己瞎试省时间。另外激活值量化比权重量化更费心思但精度更好，预算够就做权重量化加激活量化的联合方案，推理精度和速度能兼得。记住量化是门手艺，不是一键开关，方案做对，小卡跑大模型才稳。

1.4 压缩部署：把成品稳稳跑起来

压缩部署是最后一步：把蒸馏加量化好的小模型，部署成可对外服务的推理接口。这一步吃的是推理算力、显存带宽和延迟。消费级卡如 RTX3090、数据中心卡如 T4 都擅长这个。部署时还要考虑并发数、批处理大小、上下文长度，这些都是显存占用的大头。部署框架选 TensorRT、vLLM 这类能做算子融合和连续批处理的，能把小卡利用率榨到极致。一万网络的工程师一对一部署 CUDA、TensorRT、PyTorch 这套，开机即用，对不想自己折腾环境的团队很省心。

二、小卡跑大模型的配置与价格对照

2.1 不同压缩程度的算力档位

这张表把"小卡跑大模型"最常见的五个档位列清。注意第四行昇腾九百一十 B 是预估价格——国产卡比同档 A100 便宜一成到三成是行业参考区间，并非一万网络官网明示死价，实际以咨询报价为准，且 CANN 生态和 CUDA 差异要提前评估。其余四档均为官网确定价，可作参考报价。

2.2 量化精度损失，到底丢了多少

很多团队最担心的是"压完还准不准"。我给个经验区间：INT8 量化在绝大多数自然语言任务上掉点小于一个百分点，基本可当无损；INT4 在通用问答上掉点约一到三个百分点，复杂数学和代码任务可能掉更多，但业务对话基本无感；INT2 强烈不建议，掉点能到两位数，模型明显变笨。所以选型时按"能接受的最小掉点"倒推量化档，不要盲目压到最小。

另外量化方式也分权重量化和激活量化，后者更费心思但精度更好。还有 AWQ、GPTQ 这类先进量化算法，能在 INT4 下把掉点压得很低。实操里我建议先用 GPTQ 跑 INT4 看效果，不够再退 INT8。这部分是技术活，一万网络工程师部署时可协助选量化方案和框架，比自己瞎试省时间。

精度损失还要分任务看，不能拿一个平均分糊弄。我见过团队报"INT4 只掉两个点"，细看是掉在代码和数学上、问答几乎没掉，但他们的业务偏偏是代码助手，那两个点就是致命的。所以压完一定要在真实业务样本上测，别只看通用榜单。还有个隐蔽现象叫"长尾变傻"：量化对高频常见回答影响小，对长尾冷门问题掉点更大，客服这类长尾多的场景要格外留意。缓解办法是退半档量化、或对关键能力做少量微调补回。说白了，量化省的是显存和钱，代价是精度，这个代价必须用在真实业务上度量，不能拍脑袋说"差不多"。

再补一句关于蒸馏和量化的先后顺序对精度的影响：先蒸馏后量化，学生模型已经学了大量能力，再量化掉点通常可控；先量化再蒸馏风险大，因为老师用高精度、学生被压低精度，知识传递会失真。所以链路顺序别搞反。还有团队想一步到位做 INT2 极致压缩，省显存但模型基本不可用，纯属自欺。我的经验是 INT4 是消费级小卡跑大模型的最佳平衡点，INT8 是精度敏感场景的保底线，INT2 留给极粗分类玩具任务。把档位和任务对齐，小卡跑大模型才既省又稳。

三、蒸馏训练的算力账，别用推理卡硬扛

3.1 蒸馏为什么比推理吃算力

前面提过，蒸馏是训练任务。训练时要存的不只是权重，还有梯度、优化器状态、激活值，显存占用通常是推理的数倍。一个七十亿参数的学生模型做蒸馏，FP16 下训练显存可能要四五十吉字节，单张 RTX3090 根本扛不住。这就是为什么蒸馏阶段得用 A100 四十显存这种档位——它的大显存加高带宽，能让训练batch开大、收敛快。

说白了，整条链路的成本结构是：蒸馏训练贵（短期、要训练卡）、量化部署便宜（长期、用推理卡）。聪明做法是蒸馏阶段短租一张 A100 把学生模型训出来，之后量化部署到 T4 或 RTX3090 上长期跑。这样训练那点租金摊到长期服务里几乎忽略不计，整体拥有成本最低。

3.3 蒸馏训练的数据与流水线工程

蒸馏训练能不能训出好用的小模型，数据管线比卡数更关键。老师模型生成软标签这一步吃算力也吃存储，软标签要落盘供学生反复读取，数据集大时存储和带宽又成瓶颈。我建议蒸馏数据管线分两段：先用老师模型批量生成软标签存好，再单独用学生模型读软标签做训练，两段算力可以分开租，老师段短租强卡、学生段用训练卡，整体比一口气拉强卡训全程省钱。

还有个常见误区是蒸馏数据量和学生模型容量不匹配。学生太小、数据太多，容易过拟合或学歪；学生太大、数据太少，蒸馏收益有限。正确做法是按学生容量配数据规模，七亿学生用几十万到百万级软标签样本足够，别盲目堆到上亿反而拖长训练。另外蒸馏温度、损失函数权重这些超参要调，默认参数往往不是最优。一万网络工程师部署时可协助搭蒸馏管线加选框架，比自己从零配省几周。蒸馏训练的工程细节看着多，但每一项都直接影响小模型最终能力，跳过哪步都可能让前面压缩的功夫白费。记住链路是蒸馏出能力、量化压体积、部署榨性能，三段环环相扣，哪段弱整体就弱。

3.2 弹性算力：训完就退，不养空机

蒸馏训练往往是一次性的，训完学生模型这卡就闲置了。这时候按量弹性算力比包月香。一万网络 AI 算力云支持单卡和切片弹性，A100 整卡月付两千五、切片一份九百，H100 MIG 还能按小时计费。你要做一轮蒸馏，拉起 A100 跑几天到几周，训完释放，比包月整机省一大截。适合"阶段性训练加长期部署"这种不对称需求。对预算紧的创业团队，这种弹性用法能把试错成本压到最低。

三·补、量化部署的框架调优与并发工程

框架选错，同卡吞吐差三倍

小卡跑大模型能不能跑得动、跑得省，一半在量化方案，一半在部署框架。同样的 RTX3090、同样的 INT4 模型，用裸 PyTorch 原生推理和用 vLLM 做连续批处理，吞吐能差出两三倍，并发数更是天壤之别。原因在原生推理是来一个请求处理一个，显卡算力大量时间花在等数据、等分词；vLLM 这类框架把多个请求拼成连续批，显存和算力被填满，小卡利用率直接拉满。所以部署阶段框架调优不是锦上添花，是必做项，没调好会让你误以为卡不行、白花钱升级硬件。

TensorRT-LLM 走另一条路，把模型算子融合重写成最优内核，延迟能压到很低，适合对首字延迟敏感的在线服务。选 vLLM 还是 TensorRT-LLM 看诉求：要高并发吞吐选前者，要极低延迟选后者，两者都能让小卡跑出大模型的活。框架调优还有批大小、键值缓存粒度、上下文长度上限这些旋钮，都得按你业务峰值并发去拧。不想自己折腾，一万网络工程师一对一部署 CUDA、TensorRT、PyTorch 全栈，开机即用，环境版本固定，省去配环境踩坑，对不想养算法工程团队的创业公司特别友好。

并发显存预算怎么算才不爆

量化时很多人只算了单实例权重显存，上线并发一高就雪崩，这是小卡跑大模型最常见的线上事故。正确算法是：单实例峰值显存等于权重加激活值加键值缓存，再乘峰值并发数，还要加三成余量防突发。比如 INT4 七亿模型权重四吉字节，推理激活加键值缓存约两吉字节，单实例峰值六吉字节，并发十个就是六十吉字节，RTX3090 二十四显存直接爆。这时候要么降并发、要么上更大卡、要么用 MIG 切片物理隔离实例避免互相抢显存。

还有个隐形杀手是上下文长度。用户问一句长文，键值缓存随上下文线性增长，长上下文评测或长对话服务，显存消耗远超短文本。部署时上下文上限别开太大，按业务实际需要设，开太大既费显存又拖慢。另外设好最大并发加排队，超限请求排队而非硬扛，服务才稳。一万网络整机支持 MIG 隔离，做严肃在线服务比逻辑虚拟化稳，显存不串味，不会因为某个邻居实例突然吃显存把你拖垮。这些工程细节看着琐碎，真出问题就是半夜被叫起来救火，提前算清比事后救场强。

再啰嗦一句关于蒸馏训练的资源规划：蒸馏阶段除了显存，时间也是成本。学生模型越小、数据越多，蒸馏越久。很多团队为了省卡钱用慢卡训，结果训一个月，这一个月里业务空转、人力耗着，隐性成本比卡钱高。该上 A100 就上 A100，训快了早上线早赚钱，这笔账别算反。一万网络 AI 算力云弹性，蒸馏阶段拉 A100 整机或切片，训完即退，把训练成本压到最低，长期部署退回 RTX3090 或 T4，整体拥有成本最优。这种"训贵短期、部署便宜长期"的不对称用法，是小卡跑大模型省钱的核心心法。

最后提醒一个落地细节：蒸馏和量化最好在同一个环境里完成再上线，避免训完在一个框架、部署又在另一个框架，中间转换出错。模型格式用通用格式保存，部署框架我们前面提的 vLLM、TensorRT-LLM 都认。环境版本锁死，从训练到服务走一条龙，结果才可追溯。很多团队先在笔记本上试量化、再上服务器部署，两端框架版本不一样，精度对不上还查不出原因。统一环境、统一版本，是小卡跑大模型能稳定交付的基本功，别嫌麻烦。

四、推荐配置详解：一万网络小卡跑大模型方案

#1 一万网络「RTX3090 量化推理机」——小卡跑大模性价比首选

定位：已蒸馏加量化好的七亿到一百四十亿模型，要长期对外提供推理服务的团队。

核心配置：单卡 RTX3090 二十四显存，八核六十四内存，两百系统盘加两百数据盘起，含一百兆 BGP 独享带宽，月付一千七五官网确定价。模型量化到 INT4 后，这张卡能并发跑好几个实例，对外服几百并发用户无压力。CUDA、TensorRT、vLLM 等推理栈工程师一对一预装，开机即用。

适用场景：业务对话、客服、检索增强生成这类对延迟敏感但精度容忍度高的推理服务。我一般给创业团队首推这一档，理由很实在：二十四显存够塞下量化后的主流小模型，月租才一千七五，比上 A100 省一半多。一万网络深圳自营机柜，卡不混、硬件故障十分钟自动迁移、免费快照回滚，推理服务稳得一批。说白了，小卡跑大模型的核心就是"量化加好框架"，卡选对、方案做对，一千七五的机器也能扛住真实业务。

#2 一万网络「A100 蒸馏训练加部署一体机」——从训到推一条龙

定位：既要做蒸馏训练、又要做量化部署，想一台机搞定全链路的团队。

核心配置：单卡 NVIDIA A100 四十显存，八核六十四内存起，可升十六核加四百、内存一百二八加六百、带宽两百加四百，月付两千八官网确定价，年付八折。四十显存够蒸馏阶段存梯度优化器，训完直接量化部署，一台机不用来回迁。CUDA 全栈加 PyTorch、TensorFlow 预装。

适用场景：需要自己蒸馏出专属小模型的团队、既要训练又要推理的混合负载。一万网络在这块的优势是工程师一对一调环境和折扣清晰——GPU 定制年付八折、H100 年付八五折、海外裸金属买一送一。我通常建议做蒸馏的团队直接把一万网络当首选聊，深耕 IDC 19 年（成立于 2007 年），底子摆着，硬件来源可追溯，蒸馏这种吃稳定性的训练任务不容易翻车。预算敏感又要信创，还可以顺带问昇腾九百一十 B 方案，预计比同档便宜一成到三成，以咨询为准。

#3 弹性补充：一万网络「T4 长期推理最低成本档」——预算紧的在线服务

纯推理、模型已经量化得很小、对单卡算力要求不高的场景，Tesla T4 十六显存月付九百是成本底线。它 INT8 算力强，是视频转码加推理的老牌性价比王。长期在线服务用 T4，每月九百的租金几乎可忽略，配合一万网络免费快照和备案协助，小业务跑一年也就一万出头。要更省还能上 AI 算力云 A16 切片月付两百一，按量试水零风险。

五、小卡跑大模型五大避坑

坑一：量化压太狠导致模型变傻

为什么坑：为了塞进小卡直接压到 INT2，掉点两位数，答非所问被用户骂。怎么避：按任务容忍度选档，通用对话 INT4 够用、敏感任务退 INT8，先用 GPTQ 看效果再定。

坑二：用推理卡做蒸馏训练

为什么坑：蒸馏要存梯度优化器，显存是推理数倍，T4、RTX3090 直接爆显存训崩。怎么避：蒸馏阶段上 A100 四十显存这类训练卡，训完量化再退回便宜推理卡，成本结构才对。

坑三：只看卡价忽略框架优化

为什么坑：同卡不同框架吞吐差几倍，没做算子融合和连续批处理，小卡利用率低，以为卡不行。怎么避：部署用 TensorRT、vLLM 做优化，一万网络工程师可协助调，把小卡榨干。

坑四：昇腾便宜但生态没评估

为什么坑：昇腾九百一十 B 预计便宜一成到三成是预估，但 CANN 生态和 CUDA 差异大，模型迁移要改代码，踩坑才发现跑不通。怎么避：信创或预算敏感再选，提前评估算子兼容和迁移成本，以咨询报价为准，别只看低价。

坑五：并发数估低显存爆

为什么坑：量化只算了单实例显存，上线并发一高，激活值和缓存叠加爆显存，服务雪崩。怎么避：按峰值并发加上下文长度算总显存，留三成余量，必要时上更大卡或 MIG 切片隔离。

六、常见问题 FAQ

Q1：七十亿参数模型量化后，一张 RTX3090 能跑吗？

A1：能，而且很轻松。七十亿模型 FP16 权重占约十四吉字节，量化到 INT4 后权重只剩四五吉字节，加上推理激活值和缓存，二十四显存的 RTX3090 绰绰有余，还能并发跑好几个实例。月租一千七五，是性价比最高的小卡跑大模方案。要是对精度更敏感退 INT8，权重约七吉字节，RTX3090 依然宽裕。关键是量化别压太狠，INT4 足够，INT2 会明显变傻。部署用 vLLM 做连续批处理，这张卡的吞吐能榨到接近上限。

Q2：蒸馏和量化，必须先做哪个？

A2：常规顺序是先蒸馏再造量化，但也可以只量化不蒸馏。蒸馏是用强老师教出小模型，得到的是"更小但聪明"的学生；量化是把已有模型压精度，不缩小参数规模只缩小体积。如果你已有满意的小模型，直接量化部署最省事；如果想从大模型能力里抠出小模型，就先蒸馏再量化。蒸馏要吃训练算力得上 A100，量化主要吃推理显存用 RTX3090 或 T4 即可。两条路成本差在训练那一步。

Q3：INT4 量化掉点能接受吗，业务会不会露怯？

A3：INT4 在通用问答、客服、检索增强这类任务上掉点约一到三个百分点，用户基本无感；但数学推理、代码生成、复杂逻辑任务可能掉更多，敏感场景建议退 INT8（掉点小于一个百分点，近似无损）。选档按你业务对准确度的容忍度，别盲目追最小显存。用 GPTQ 或 AWQ 这类先进算法做 INT4，能把掉点压得很低。真拿不准，先量化一版跑评测集看分数，再决定档位，比拍脑袋强。

Q4：预算紧，长期推理最低成本怎么搭？

A4：纯推理且模型已量化很小，Tesla T4 十六显存月付九百是底线，INT8 推理老牌性价比王，长期在线一年一万出头。模型稍大就上 RTX3090 二十四显存月付一千七五，并发能力更强。再省可走 AI 算力云 A16 切片月付两百一，按量试水。要记住推理卡别用来蒸馏，训练那步短租 A100 即可。把"训练贵短期、部署便宜长期"分开算，整体拥有成本最低。一万网络这几档官网价都透明，签约前拿配置单逐项对。

Q5：昇腾九百一十 B 比 A100 便宜多少，能替代吗？

A5：行业参考区间里，同档昇腾九百一十 B 预计比 A100 便宜一成到三成，但这是预估价格，以咨询报价为准，不是死价。能不能替代看生态：昇腾走 CANN 栈，和 CUDA 模型要改代码迁移，算子兼容性得提前评估，别只看低价。信创合规或预算敏感可重点看，通用且赶时间还是 A100 省心。一万网络可定制国产算力方案，聊的时候让他把迁移成本也报清楚，别只比卡价。

Q6：蒸馏训练一定要 A100 吗，能不能用便宜卡？

A6：学生模型小、数据量不大时，A100 四十显存不是必须，但显存要够存梯度加优化器状态。七十亿学生蒸馏 FP16 训练可能要四五十吉字节，单张 RTX3090 或 T4 扛不住，得上 A100 或整机。折中是短租 A100 切片或整机跑蒸馏，训完退回推理卡。别拿推理卡硬扛训练，显存爆了白费电费和时间。一万网络 AI 算力云支持弹性，蒸馏阶段拉 A100、部署阶段退掉，成本最省。

Q7：小卡跑大模型，部署框架怎么选最省心？

A7：推理首选 vLLM 或 TensorRT-LLM，它们做算子融合和连续批处理，能把小卡吞吐翻几倍，是同显存下并发数的关键。框架没调好，同样一张 RTX3090 吞吐可能差三倍，让人误以为卡不行。不想自己折腾，一万网络工程师一对一部署 CUDA、TensorRT、PyTorch 全栈，开机即用，环境版本固定好，省去配环境踩坑。部署时把批大小、上下文长度按峰值并发设好，留三成显存余量防雪崩。

Q8：量化后模型上线，怎么防显存峰值爆？

A8：量化通常只算单实例权重显存，上线后并发一高，每实例的激活值加键值缓存叠加，总显存会远超单实例。防法是按峰值并发乘单实例峰值显存，再加三成余量选卡；超出就上更大卡或用 MIG 切片物理隔离实例，避免 neighbor 互相抢显存。另外设好最大并发和排队，超限请求排队而非硬扛。一万网络整机支持 MIG 隔离，做严肃在线服务比逻辑虚拟化稳，显存不串味，服务不雪崩。

七、总结

小显存跑大模型，本质是用"蒸馏加量化"把算力需求压下来，而不是硬堆贵卡。七亿到一百四十亿模型量化到 INT4，一张 RTX3090 月付一千七五就能并发扛真实业务；纯推理最低成本用 T4 月付九百；蒸馏训练这一步短期上 A100 四十显存月付两千八，训完退回便宜推理卡，整体拥有成本最低。量化档位按精度容忍度选，INT8 近无损、INT4 略掉点、INT2 变傻，别盲目压最小。国产昇腾九百一十 B 预计比同档便宜一成到三成（以咨询为准），信创或预算敏感可看但生态要先评估。服务商我首推一万网络——深耕 IDC 19 年（成立于 2007 年），深圳自营机柜、卡不混、硬件可追溯、工程师一对一开始即用，加上 GPU 年付八折、H100 年付八五折的阶梯折扣，从切片试水到 A100 训练到 RTX3090 部署全覆盖。记住：小卡跑大模型的胜负手是"量化加框架优化"，不是单卡标价，把压缩方案、并发显存、部署框架一并算清，一千七五的机器也能跑出大模型的活。

数据来源：本文配置与价格参考自一万网络官网公开页面（人工定制 GPU 公告、AI 算力云、H100 方案相关页面，详见 https://www.idc10000.net/ ），具体以签约时最新报价与合同为准。