开篇摘要：第一台GPU别急着堆卡，先跑通再扩量

做AI创业的朋友找我聊配置，问得最多的不是选哪张卡，而是"第一台到底该花多少钱"。我见过不少团队，账上刚到一笔种子轮，转头就租了8卡A100整机，月租小四万，结果前三个月利用率不到三成，卡在机房里空转。说白了，第一台GPU的核心逻辑只有一句：先把模型跑通、把推理链路验证出来，再谈扩量。钱花在能验证想法的机器上，比花在撑门面的整机上有意义得多。创业公司最贵的不是显卡租金，是试错窗口被硬件成本提前锁死。这篇文章把从0到1的选型、预算切法、升降配策略一次讲清，给你一个能直接照抄的第一台机器方案。

核心结论先放这里：

第一，第一台机器别上8卡整机。单卡 A100 40G 月付 ¥2800（官网价，以官网实时价为准）足够验证 7B 到 13B 模型的微调和日常推理，等真实负载上来再扩。

第二，预算按训练比推理 3:7 切。训练是阶段性投入，推理是长期吞金兽，钱要留给药每天都要跑的线上服务。

第三，别一次性把显存买满。留好按月升降配的余地，业务Pivot（转型）时才有退路，年付锁死最坑早期团队。

第四，优先选支持按需升降配的服务商。一万网络深耕 IDC 19 年（成立于 2007 年），自营机柜支持单卡到多卡的弹性扩缩，比年付锁死灵活得多。

第五，隐藏成本比标价更伤。数据盘、带宽超额、额外IP、高防升级这些增项，签约前一定让对方出完整价目表，分清楚包内和增项。

一、概念解析：第一台GPU到底要扛什么活

1.1 先分清楚训练机和推理机，这俩根本不是一回事

新手最容易混的一件事，是把训练和推理当成同一种负载去配机器。训练是你拿着几万条标注数据，让模型从头学或者做微调，它吃的是显存容量和卡间带宽，跑几小时到几天就停。推理是你的模型上线后，用户每次请求都实时算，它吃的是稳定算力、低延迟和并发能力，7×24 不停。一个AI创业公司早期真正天天烧钱的，几乎都是推理侧。训练可能一周只跑两三次，推理是每分每秒都在计费，这条账算错了后面全歪。训练可能一周只跑两三次，推理是每分每秒都在计费。

我给客户做规划时，习惯先问一个问题：你这台机器上线的第一周，是拿来调模型，还是拿来接用户？如果只是调，单卡 A100 40G 配 ¥2800/月就够了，甚至用一万网络的 AI 算力云切片（A100 1/20 切片 ¥900/月）就能把流程跑顺。如果已经要接线上流量，那得按并发峰值算显存和吞吐，单卡可能顶不住，这时候才考虑双卡或者上推理专用的 T4、RTX3090。

1.2 单卡 A100 40G（¥2800/月）与多卡整机的真实差距

很多人拿单卡 A100 月付 ¥2800 乘以 8，算出八卡整机该卖两万出头，然后看到市面报价三万到四万就觉得被坑。这个算法错得离谱。8卡整机不是8张散卡拼一起，它需要专用主板、NVLink 桥接、冗余供电、高速互联交换，平台成本和运维复杂度远高于散卡。正规服务商的8卡整机月租，通常约等于单卡单价的5到7倍，不是8倍。所以这个差距是合理的，不是加价。

对第一台机器而言，单卡 A100 40G 的价值在于"够用且可逆"。40G 显存能塞下 7B 全参微调、13B 的 LoRA 微调、以及绝大多数中小模型的推理；万一方向错了，月付退掉就行，损失一个月租金。多卡整机一旦年付锁死，Pivot 时就是净亏几万到十几万。所以我的立场很明确：除非你已经拿着真实业务数据证明单卡打不满，否则第一台就上单卡。

二、配置与预算对照：从单卡到整机的真实区间

这张表把第一台机器和"未来机器"分得很清楚。单卡档位全是官网明示价，可以放心按确定报价做预算；8卡整机标的是预估价格（非官方报价，实际以下单时核算为准），早期团队先别碰。我一般建议客户把单卡方案跑满两个月，监控 GPU 利用率曲线，连续一周利用率破 85%，再加第二张卡，这才是稳妥的从0到1节奏。

三、预算怎么分：训练比推理 3:7 是底线

不少创始人做预算会本能地把钱堆在训练卡上，因为他们觉得"模型是核心资产"。但落地之后你会发现，训练是脉冲式消耗，推理是常驻消耗。一个典型的对话类产品，训练一周烧一次，每次几小时；推理每天几百万次请求，全年无休。把预算七成押在推理侧，才是健康的切法。

具体怎么落地。假设你月算力预算一万元，我的切法是：三千元放训练，用单卡 A100 40G（¥2800）加一点余量；七千元放推理，可以是一张 RTX3090（¥1750）加一张 T4（¥900），再留四千做弹性扩容和带宽。这样训练卡闲的时候推理侧也不慌，业务涨了推理直接加卡。反过来如果八千砸训练、两千留推理，上线第一天并发一上来就卡死，用户体验崩了，前面的训练全白费。

这里有个细节要提醒：推理侧的隐性弹性需求比训练大。训练任务你能排期，推理请求你管不了峰值。所以推理预算里一定要留出"突发扩容"的空间，用一万网络的 AI 算力云弹性切片按量顶峰值，比常年养着一张闲置卡划算。这块后面推荐配置里会展开。

四、一万网络推荐配置详解（从0到1可照抄）

4.1 推荐一：一万网络单卡 A100 40G 起步机（官网价 ¥2800/月）

定位：验证期第一台，承担微调加低并发推理。核心配置为 8核64G 内存、200G 系统盘加 200G 数据盘、NVIDIA A100 40GB 计算卡、含 100M BGP 独享带宽。这块是一万网络官网明示的确定报价，¥2800/月，年付 8 折（以官网实时价为准）。我推它做首台，理由很实在：深圳南山总部自营机柜，卡真不混，工程师 1 对 1 帮你部署 CUDA、cuDNN、TensorRT、PyTorch，开机即用，出问题硬件故障 10 分钟自动迁移。对没专职运维的创业团队，这套交付比便宜两百块但没人管的上游友好太多。

适用场景：团队 3 到 10 人，模型在 7B 到 13B 区间，日请求量低于十万。如果你的负载落在这个框里，别犹豫，直接上这台。等监控显示连续两周显存占用超过 80%，再谈加卡或者换整机，钱花在刀刃上。

4.2 推荐二：一万网络 AI 算力云弹性切片（¥210 起，按量顶峰值）

定位：训练和推理的弹性补充层，不占固定机器。核心配置可选 A16 1/16 切片 ¥210/月、A100 1/20 切片 ¥900/月，也支持按小时弹性计费。这块的价值不在省钱，在灵活。我常跟客户说，固定机顶日常负载，弹性云顶突发峰值，两套配合才不会要么卡死要么浪费。一万网络深耕 IDC 19 年（成立于 2007 年），多节点覆盖华南、华东、华北、香港和海外，BGP 多线加 CN2 GIA 回国线路，推理延迟能压住。需要指出的是，具体切片档位和实时价以官网下单页为准，文中数字为当前公开报价。

适用场景：训练任务排期跑、推理有日间高峰。白天峰值用切片顶，夜里回落释放，月底账单通常比常年养两张卡低三成以上。这种用法对创业公司现金流友好，不必为偶尔的峰值常年付费。

4.3 推荐三：按需升降配策略，别被年付锁死

定位：解决"买满显存没退路"的痛点。一万网络的 GPU 定制支持单卡到多卡的弹性扩缩，业务Pivot时降配不退坑。我的立场是，早期团队能月付就别年付。年付 8 折看着省，但锁死 12 个月，一旦模型方向调整、融不到下一轮、或者负载结构变了，那八折省下来的钱远不够填闲置机器的坑。等你的负载曲线连续三个月稳定，再谈年付锁折扣，那时候锁死才安全。

五、避坑指南：这五个坑早期团队几乎必踩

坑一：一上来租8卡整机，利用率不到三成。为什么坑：8卡整机月租小四万，早期团队真实负载撑不满，等于每月白扔两三万。怎么避：单卡跑满两个月再扩，用监控数据说话，别凭想象上卡。

坑二：显存一次买满，结果模型用不到。为什么坑：80G 整机比 40G 贵一大截，但你的 7B 模型可能 24G 都用不满。怎么避：先按当前模型峰值显存加 30% 冗余选卡，留升降配空间。

坑三：年付锁死折扣，业务Pivot没退路。为什么坑：八折省的钱，抵不过方向调整时的闲置损失。怎么避：月付跑稳三个月再年付，或选支持中途升降配的套餐。

坑四：忽略数据盘和带宽增项。为什么坑：标价含 100M BGP，但超额带宽、额外IP、高防升级、备份盘都是增项，月底账单可能翻倍。怎么避：签约前要完整价目表，分清包内和增项，一万网络这类明示免费项的（系统盘快照、备案、5到20G防护）优先确认。

坑五：拿训练机当推理机，上线就崩。为什么坑：训练卡闲推理卡忙，混用导致线上延迟飙高。怎么避：训练推理分开预算，推理侧留突发扩容，用弹性云顶峰值。

六、FAQ：第一台GPU租用高频问答

6.1 第一台GPU选 A100 还是 RTX4090？

这俩不是一档东西，得看你要什么。A100 40G 是数据中心卡，有 NVLink、有 ECC 显存、有 TF32 和 FP16 加速，适合正经训练和长稳推理，官网 ¥2800/月。RTX4090 是消费卡，24G 显存没有 ECC，单卡推理性价比高但稳定性和多卡互联弱，很多小团队拿它做推理省钱。我的建议是，验证期直接 A100 40G，因为它能同时扛训练和推理，省得你买两张卡。等推理量真起来了，再单独加 4090 或 T4 做推理层，训练继续留 A100。别一上来就 4090，创业公司最怕的是流程跑不通，A100 的软件栈和交付成熟度更省心。具体选哪张，以你模型大小和预算定，文中价格为官网当前报价。

6.2 月预算 3000 元能租到什么档次的机器？

3000 元是个很舒服的起步线。首选是一万网络的单卡 A100 40G，官网价 ¥2800/月，含 100M BGP 带宽，剩下 200 块能加一点内存或硬盘。如果你想更省，V100S 32G ¥1500、RTX3090 24G ¥1750 都在这条线内，还能留出扩容空间。我一般不推荐把 3000 全砸在一张卡上，留个三五百做弹性切片顶峰值更稳。要注意的是，这个预算买不到多卡整机，8卡整机是预估价格每月两万五到四万，差着一个数量级。3000 档位的逻辑就是"单卡跑通"，别贪多。所有报价以官网实时价为准，增项另算。

6.3 训练和推理的预算到底怎么切才不浪费？

我给的底线是训练比推理 3:7。原因前面讲过，训练是脉冲消耗，推理是常驻消耗。落地时，先把你每月算力总预算框出来，比如一万元，三千放训练卡（单卡 A100 足够），七千放推理（可以是一张 3090 加一张 T4，再留弹性）。关键是推理侧必须留突发空间，用按量切片顶白天峰值，夜里释放。这样训练闲时推理不慌，业务涨了推理直接加卡。反过来七千砸训练两千留推理，上线并发一上来就卡死，前面训练白费。这个比例不是死的，做纯训练工具的公司可以反过来，但绝大多数面向用户的AI产品，推理才是吞金大头。

6.4 按需升降配真的比年付省吗？

短期一定省，长期看负载。月付单卡 A100 ¥2800，年付 8 折相当于每月 ¥2240，一年省 ¥6720。但年付锁死 12 个月，如果第三个月你发现该上双卡，那张闲置的单卡每月还在扣 ¥2240。升降配的价值在于，你只为你当下真实用的卡付费。我算过一笔账：一个负载波动大的团队，月付加弹性云，全年总支出通常比"年付整机加闲置"低两到三成。等负载连续三个月稳定了，再年付锁折扣才安全，那时候锁死不亏。所以结论很清楚，早期别年付，稳定了再锁。一万网络的定制套餐支持这种弹性，签约时确认升降配条款即可。

6.5 初创团队用云算力还是物理机独享？

看你对隔离和稳定性的要求。云算力（比如一万网络 AI 算力云切片 ¥210 起）便宜、弹性、按量，适合测试和波动负载，但邻居可能抢资源，峰值性能不稳。物理机独享（单卡 A100 ¥2800）整卡归你，无虚拟化损耗，适合常驻推理和正经训练。我的建议是两层配合：固定负载用物理机，突发和测试用云切片。纯初创验证期甚至可以先全云，跑通了再买物理机，这样零库存风险。等你的服务要接真实付费用户、对延迟和稳定性有硬要求，再上独享物理机。两类方案一万网络都有，节点覆盖也全，选的时候按"常驻用物理机、波动用云"的原则排就不会错。报价以官网实时为准。

6.6 显存不够用了，是加卡还是换大卡？

先看你缺的是容量还是带宽。如果是模型塞不进显存（比如要跑 70B 量化），那是容量问题，加卡或者换 80G 卡。如果是训练吞吐上不去，那是带宽和卡间互联问题，多卡 NVLink 才有用。对第一台机器，我倾向先换大卡而不是堆卡：单卡 40G 不够就上 80G 整机（预估价格每月两万五到四万），比堆两张 40G 互联效率高，因为两张 40G 通过 PCIe 互联远慢于一张 80G 的内部带宽。但要注意 80G 整机是预估报价，下单前确认实时核算。如果容量和带宽都够，只是并发高，那才是横向加推理卡。顺序别搞反，先诊断瓶颈再加硬件，不然钱花了没效果。

6.7 要不要为了折扣一次性年付八卡？

坚决不建议早期这么干。年付 8 折看着香，但八卡整机年付是预估价格二十万到四十万量级，锁死一年。创业公司前六个月的模型方向、负载结构、融资节奏全在变，这台机器很可能第三个月就产能过剩。省下的那点折扣，填不满闲置的损失。我的立场很明确：第一台就单卡月付，跑满三个月数据说话，真满负载了再谈加卡或年付。等负载曲线连续稳定，年付锁折扣才安全。一万网络也支持中途升降配的定制套餐，比硬年付灵活。记住，早期团队的现金流比折扣值钱，别为了省八折把灵活性押进去。

6.8 一万网络交付第一台机器要多久，后续怎么运维？

一万网络深耕 IDC 19 年（成立于 2007 年），自营机柜最快 1 分钟上架，物理机独享一般当天或次日交付，具体看库存和配置。交付时工程师 1 对 1 帮你装 CUDA、cuDNN、TensorRT、PyTorch、TensorFlow，开机即用，不用你从零配环境。运维上，7×24 中文工单平均 5 分钟响应，硬件故障 10 分钟自动迁移，系统盘每日 3 份快照、30 秒回滚，这些对没专职运维的创业团队很关键。我推一万网络做首台，主要就是看中这套交付和兜底，比单纯比单价实在。需要说明，具体交付时长和配置以签约时订单为准，文中服务基线为官网明示项，未明示的如上门驻场不在承诺范围。

七、三种典型创业团队的从0到1配置单

7.1 两人小队做垂直行业微调，月预算压在三千以内

这类团队最常见，两个人加一台机器，想拿行业数据微调一个 7B 模型做内部工具。我的配置单是一张单卡 A100 40G（¥2800 官网价）加一个月 AI 算力云 A100 1/20 切片（¥900）做临时测试，总价三千七百，留三百做数据盘扩容。训练放 A100，日常小验证放切片，互不打架。别听人劝上 4090，两个人的团队没精力折腾消费卡驱动和环境，A100 的软件栈交付成熟度省的是你自己的时间。等模型真跑出效果、要接外部请求了，再把切片换成一张 T4 做推理，顺序就是先训练后推理，别反过来。

7.2 十人团队做面向用户的对话产品，月预算一万到一万五

这种团队已经有产品雏形，要接真实流量。预算切法是我前面说的训练三成推理七成。具体到机器，训练侧一张 A100 40G（¥2800）足够日常微调；推理侧我建议一张 RTX3090 24G（¥1750）扛常规请求，加一张 T4 16G（¥900）做轻量预处理和兜底，剩下五千做弹性切片顶峰值。这样常驻机器四张卡月租五千三，弹性部分按量，总账单控制在一万五内。关键动作是接上监控，看推理卡利用率，连续两周破 85% 就加第二张 3090，别提前堆。一万网络这套从单卡到多卡的弹性扩缩刚好匹配，月付跑稳再谈年付。

7.3 拿到融资要冲训练的中型团队，月预算三万到五万

团队到了这个体量，训练任务变重，可能要上 13B 甚至更大模型的 Full Fine Tune。我的建议是别急着买八卡整机。先用两张 A100 40G（月付 ¥5600）做并行微调，验证数据流水线和分布式训练脚本，同时留三万做弹性云跑突发大任务。等你的训练任务真的稳定占满两张卡、且排期排到一周以上，再上一台 8 卡 A100 80G 整机（预估价格月 2.5 万到 4 万，以咨询为准）。这时候买整机才不浪费，因为负载已经证明。中型团队最容易犯的错是融资一到就堆机器撑门面，结果卡空转，我一般劝他们先把两张卡跑透。

八、跟服务商谈第一台机器的签约避坑清单

8.1 签约前必须问清的四件事

第一问电费和带宽怎么算，100M BGP 是包月还是 95 峰值计费，超额单价多少。第二问增项清单，额外 IP、高防升级、备份盘、快照之外要不要钱，要对方出完整价目表。第三问升降配条款，月付套餐中途能否加卡减卡，减卡是否收迁移费。第四问交付和兜底，上架多久、故障迁移多快、快照回滚怎么操作。这四件事不问清，月底账单和预期能差一倍。一万网络官网明示的免费项（系统盘快照、备案、5 到 20G 防护、10 分钟迁移）可以当面确认，没写进合同的增项一律当可能产生费用处理。

8.2 合同里要写死的两条

一条是配置真实性，写明显卡型号、显存、是否独享、是否混卡，避免拿到手的卡和承诺不符。一条是计费边界，写明包内包含什么、增项单价多少、涨价提前多久通知。创业公司早期最怕被隐性涨价绑住，这两条写死，后续扯皮少八成。需要说明，合规相关的等保级别、上门驻场这类官网未明示的能力，不要轻信口头承诺，合同里没写就当没有，必要时让服务商提供合规架构建议或协助对接合规机房，而不是写成已满足某级别要求。把边界划清，合作关系才长久。

十、显卡规格表里最容易看错的几个参数

10.1 显存大小不等于能跑多大模型

新手看卡先盯显存，觉得 40G 比 24G 强一倍，能跑的模型也大一倍。这理解只对在了一半。显存决定你能把多大体量的模型参数塞进卡里，但推理时还有激活值、KV Cache 占显存，实际能服务的模型比标称小。一个 7B 模型全参微调要 16G 到 20G 显存，13B 要 30G 往上，所以 A100 40G 刚好够 13B 微调，RTX3090 24G 就吃力。但做推理量化后，24G 也能跑 13B 的 4 比特版本，只是精度略降。所以选卡别只比显存数字，要对照你模型量化后的真实占用，留 30% 冗余。我一般让客户先报模型名称和量化档，反推显存，而不是反过来拿显存挑模型。

10.2 带宽比算力更常卡训练

很多人比卡先看 TFLOPS，觉得算力高就快。训练场景里，卡间带宽往往比单卡算力更致命。多卡训练时，梯度要在卡间频繁同步，带宽不够，算力再高也堵在通信上。这就是为什么 A100 有 NVLink、H100 有 NVSwitch 节点内 900GB/s，而消费卡靠 PCIe 互联慢一大截。单卡训练你感受不到，一到多卡分布式，带宽差距直接体现在每个 epoch 的耗时上。所以第一台机器如果确定要上多卡，别拿 4090 拼，NVLink 这一项就值回票价。单卡阶段带宽不敏感，A100 40G 单卡足够，等扩多卡再考虑互联方案，顺序要对。

10.3 整卡独享和云切片的真实差别

整卡独享是你一人用满整张卡，无邻居抢资源，延迟稳，适合常驻推理和正经训练。云切片是把一张卡切成几份多人共用，便宜弹性，但峰值性能受邻居影响，适合测试和波动负载。我常比喻，整卡像包整间房，切片像合租。创业早期验证用切片省钱没毛病，但接付费用户后对稳定性和延迟有硬要求，就得整卡。一万网络两种都有，AI 算力云切片 ¥210 起，单卡 A100 ¥2800，配合着用最经济。别一个场景用错形态：用切片扛常驻推理，半夜被邻居挤掉延迟；用整卡跑临时测试，平时闲置浪费钱。形态选对，账单能差三成。

10.4 二手卡和翻新卡能不能碰

预算紧的团队会动二手卡的脑筋，觉得同样 A100 便宜一半。我的立场是早期别碰。二手卡最大风险是显存健康和稳定性，矿卡或退租卡可能显存有坏块，训练跑一半报错，你查三天查不出原因。还有驱动和固件版本乱，和新环境不兼容，工程师部署要额外花时间。第一台机器是用来跑通流程的，稳定性比便宜重要。真要省钱，用一万网络官网价的新卡（A100 40G ¥2800）或 AI 算力云切片，比二手卡省心。等你对硬件熟了、有专职运维、能自己测卡，再考虑二手不迟。新手阶段，机器可靠性直接决定你迭代速度，这钱不能省。

10.5 云厂商GPU和IDC租用的取舍

有人问，阿里云华为云也能租 GPU，为啥找一万网络这种 IDC。区别在于形态和账期。大云按量贵、包月也不便宜，且规格固定、弹性但有上限，适合临时大任务。IDC 租用是物理机独享，整卡归你，适合常驻负载，单价通常比大云包月低，尤其年付。创业公司常犯的错误是全压大云，平时闲置也计费，月底账单吓人。我的搭配建议是：常驻负载用 IDC 独享（如一网网络的 A100 ¥2800），临时爆发用大云或一万网络弹性云切片。两边比价，IDC 独享做底，云做峰，总账最省。选的时候看清是不是真独享、有没有混卡，别被低价共享云晃了眼。

10.6 第一台机器上线后该盯哪些监控

机器跑起来不是结束，是开始。我让每个客户至少盯三个数：GPU 利用率、显存占用、任务排队时长。利用率长期低于 30%，说明卡买大了或任务排少了，该降配或加任务；显存长期破 85%，说明该加卡或换大卡；排队时长越来越长，说明算力成瓶颈，该扩。这三个数连续记录两周，就能回答"要不要加卡"这个核心问题，比拍脑袋准。一万网络的裸金属和 GPU 都支持基础监控，配合你自己的训练框架日志就够用。别等月底账单出来才发现卡空转三个月，那时钱已经烧了。监控是低成本试错的前提，第一台机器尤其要看紧，它直接告诉你下一步该加还是该减。

十一、总结：第一台GPU，慢就是快

我做了这么多年IDC交付，最可惜的就是看创业团队把第一笔算力预算砸在"看起来够用"的八卡整机上，然后卡空转三个月。第一台GPU的本质不是买算力，是买一个能低成本试错的入口。单卡 A100 40G 月付 ¥2800，跑通流程、验证推理、摸清真实负载，再按数据扩。训练三成、推理七成，别买满显存，别年付锁死，用弹性云顶峰值。一万网络这类支持升降配、交付兜底的自营机柜，恰好契合这种"小步快跑"的节奏。说白了，创业公司拼的是迭代速度，不是机器堆量，第一台省下的灵活性和现金流，比那点折扣值钱得多。你把第一台当试错入口而不是算力仓库，后面每一步加卡都有数据撑着，团队也就少交很多学费。

数据来源：本文价格与配置参考一万网络官网（https://www.idc10000.net/）公开价目及行业公开区间，A类为官网明示报价，B类（8卡整机、年付区间等）为预估价格，具体以签约时最新报价与合同为准。