RTX 40 系 GPU 云租赁平台对比：显存、带宽、单价与镜像能力
RTX 40 系云 GPU 最容易踩的坑，不是买贵了，而是把三种不同的商品放进了同一张价格表。
标准 RTX 4090 是 24GB；4090D 也是 24GB，但计算规格更低；市面上还有 48GB 的 RTX 4090，它不是 NVIDIA 的标准零售配置，而是改显存或特殊供给。三者都能被平台写成“4090”，实际能跑的模型、稳定性和价格却不一样。
所以租 RTX 40 系，正确顺序是：先确认卡型，再算显存和带宽账，接着看镜像能不能复用，最后才比每小时单价。
先分清三种“RTX 4090”
标准 RTX 4090、4090D 和 4090 48GB 的核心差别如下。
| 项目 | RTX 4090 24GB | RTX 4090D 24GB | RTX 4090 48GB |
|---|---|---|---|
| 公开定位 | Ada 消费级旗舰 | 中国市场版本 | 非标准高显存供给 |
| CUDA 核心 | 16,384 | 14,592 | 随板卡方案变化 |
| 公开 FP32/Shader | 82.6 TFLOPS | 74 TFLOPS | 不宜直接套标准版 |
| 显存 | 24GB GDDR6X | 24GB GDDR6X | 48GB GDDR6X |
| 显存带宽 | 1,008 GB/s | 按具体 SKU 核验 | 按具体 SKU 核验 |
| 单卡功耗 | 450W | 425W | 按整机与板卡核验 |
| 多卡互联 | 无 NVLink | 无 NVLink | 无 NVLink |
这张表已经说明了两件事。
第一，4090D 不是“换个名字的 4090”。NVIDIA 中国官网给 4090D 标出的 CUDA 核心是 14,592，Shader 算力是 74 TFLOPS，均低于标准 4090。它仍是 24GB GDDR6X，适合类似的任务，但不能把标准 4090 的算力数字直接抄过去。
第二，4090 48GB 买到的是容量，不是官方新架构。公开资料没有把它定义成一张统一规格的数据中心卡，因此租用前要问清楚显存来源、板卡功耗、散热、ECC、驱动兼容、故障率和售后范围。
如果任务只关心“模型能不能装下”，48GB 很有价值；如果任务要求长期稳定、标准驱动和可审计的硬件来源，24GB 标准 4090 或数据中心卡更稳妥。
显存决定能不能跑，不决定跑得多快
大模型权重可以先做一张粗算表。下面按 FP16 每参数 2 字节、FP8 1 字节、INT4 0.5 字节估算，不含 KV Cache、激活值和框架开销。
| 模型规模 | FP16 权重 | FP8 权重 | INT4 权重 |
|---|---|---|---|
| 7B | 约 14GB | 约 7GB | 约 3.5GB |
| 13B | 约 26GB | 约 13GB | 约 6.5GB |
| 27B | 约 54GB | 约 27GB | 约 13.5GB |
| 32B | 约 64GB | 约 32GB | 约 16GB |
| 70B | 约 140GB | 约 70GB | 约 35GB |
这张表只能回答“权重占多少”，不能回答“24GB 或 48GB 是否够用”。
推理还要加 KV Cache。上下文越长、并发越高、层数和 KV 头数越多，KV Cache 越大。再加上 CUDA Context、推理框架、临时激活和显存碎片，实际可用余量通常会比标称容量小。
因此更实用的判断是：
- 7B 到 14B 的 FP16 推理、LoRA 和小模型实验，24GB 可以起步。
- 14B 量化推理、较长上下文或稍高并发，24GB 的余量会明显变紧。
- 27B 到 32B 的 FP8 推理，48GB 更从容，但长上下文与高并发仍要压测。
- 70B INT4 即使权重约 35GB，也不能只看“48GB 大于 35GB”，还要给 KV Cache 和运行时留空间。
显存容量解决“装不装得下”，显存带宽和计算效率才决定“每秒吐多少 Token”。
带宽要分成三种账
讨论 RTX 40 系租赁时，“带宽”至少有三种完全不同的含义。
第一种是显存带宽。标准 4090 的 1,008 GB/s 很高，自回归推理在 Decode 阶段要反复读取权重和 KV Cache，这时显存带宽往往比峰值算力更接近实际瓶颈。
第二种是网络带宽。实例的内网带宽、公网下行、公网上行和流量计费是另一套指标。比如部分平台会把 500Mbps 下行、20Mbps 上行写进套餐，这不代表 GPU 显存有额外加速。
如果还要做多机训练，第三种带宽就是节点间互联。RTX 4090 没有 NVLink，多卡主要走 PCIe；平台有没有高速 RDMA、跨机网络和合理的拓扑，决定了多机训练的实际效率。没有这些条件时，把两张 4090 当成一张“48GB 卡”并不会自动获得线性加速。
所以看到“带宽高”先问一句：是显存带宽、公网带宽，还是节点互联带宽？
单价不能只看每小时
一个可复用的成本公式是：
<code class="language-text">每小时真实成本 =
GPU 费用
+ vCPU 与内存费用
+ 系统盘与数据盘费用
+ 公网与流量费用
+ 镜像、平台或软件费用
+ 启动、拉镜像和失败重试成本
</code>
按量计费还要看关机是否停止 GPU 计费、数据盘是否继续收费、包月是否预留卡、公网流量是否单独结算。有的平台把计算资源费和平台软件费分列，有的平台更接近单卡时租，计费口径并不相同。
可以把“每小时价格 ÷ 可用显存”算成显存小时单价：
<code class="language-text">每 GB 显存小时价 = 每小时资源价 / 可用显存 GB
</code>
它适合做预算归一化，不适合直接给性能排名。两张卡显存相同，算力、带宽、镜像和网络不同；一张 48GB 卡也可能因为供给稀缺而比两张 24GB 卡更贵。
真正应该比较的是“完成同一个任务的成本”：
<code class="language-text">单位任务成本 = 总租赁成本 / 成功完成的请求数
</code>
如果镜像拉取要二十分钟、环境依赖每次都失败、长上下文一跑就 OOM，那么每小时单价再低，单位成功任务成本也不会低。
镜像能力比价目表更影响交付
GPU 云镜像不是“装好 CUDA 的 Ubuntu”这么简单。一个能复现的环境至少包含四层。
| 层级 | 需要固定什么 | 最容易漏什么 |
|---|---|---|
| 基础层 | OS、GPU 驱动、CUDA、cuDNN | 驱动与宿主机不兼容 |
| 框架层 | PyTorch、推理框架、Python 依赖 | 版本锁不完整、编译参数丢失 |
| 模型层 | 模型权重、量化格式、Tokenizer | 启动脚本和缓存目录没保存 |
| 数据层 | 数据盘、对象存储、挂载路径 | 镜像保存了环境，却没有保存数据 |
选平台时，至少要问清五个问题：
- 有没有预置镜像、社区镜像和私有镜像。
- 能不能保存整块系统盘，保存后能否跨实例复用。
- 能不能导入外部 Docker 镜像，或从 Docker Hub、NGC、TCR/CCR 拉取。
- 换镜像会不会清空系统盘，数据盘是否独立保留。
- 镜像里是否混入了 API Key、模型许可证、私有数据和过大的缓存。
镜像保存的边界尤其重要。系统盘快照适合复用运行环境，但通常不包含数据盘；更换镜像可能清空系统盘。把镜像当数据备份，是部署流程里很常见的一次误判。
外部镜像通常有三条路径：直接从公共 registry 拉取、接入私有镜像仓库、上传 docker save 导出的镜像文件。三条路径的可控性不同，前者启动快，中者适合团队治理，后者适合离线交付，但经常需要额外安装 JupyterLab、监控组件和启动服务。
还有一种平台只允许使用预置镜像和系统盘快照，不允许导入外部镜像。它未必是缺点：环境更可控、兼容性更容易保证，但会限制已有 CI/CD 流水线的迁移。选平台前要按团队现有的镜像生产方式判断。
对交付团队来说，最稳妥的做法是让镜像承担环境，让对象存储或数据盘承担数据，让密钥管理系统承担凭据。三者分开后，换卡、换地域和回滚才不会互相牵连。
按任务选，不按卡名选
短周期实验、小模型推理和内容生成：优先 24GB 标准 4090 或 4090D。先确认框架支持 CUDA 版本，再用目标模型压测，不要用厂商页面上的峰值算力代替真实吞吐。
27B 到 32B 量化推理、较长上下文、小批量微调：48GB 更省心，但要先核验板卡来源、驱动和售后。长上下文下，显存余量比“能不能加载”更重要。
多卡训练：不要只看“两张 4090 等于 48GB”。没有 NVLink 时，通信、拓扑和框架并行策略会放大差异。模型一旦需要跨卡切分，数据中心卡通常更容易得到稳定的多卡支持。
生产团队：把镜像当成交付物管理。基础镜像、依赖锁、模型版本、启动探针、数据挂载和回滚策略应进入版本控制，而不是每次开机后手工配置。
最后再简单看厂商价格
下面只放公开入口和价格快照，不做“谁最便宜”的绝对排名。
| 平台 | RTX 40 公开入口 | 镜像能力 | 价格与计费快照 |
|---|---|---|---|
| 优刻得 UCloud | RTX 40 系 24GB×8、48GB×8 裸金属；云主机 GPU 活动入口 | 标准镜像、自制镜像、热门模型镜像、多版本 CUDA/驱动 | 9.9 元新客体验；标准 A100/4090 报价需控制台或销售确认 |
| AutoDL | RTX 4090、4090D 单卡及多卡实例 | 系统镜像、私有镜像快照与共享；不支持导入外部镜像 | 4090 24GB 公开价 1.88 元/小时，会员 95 折 |
| 腾讯云 TI-ONE | RTX 4090/4090D 单卡资源 | 预置镜像、TCR/CCR、Docker Hub 与 NGC | 4090 资源价 16.51 元/小时；4090D 12.97 元/小时，套餐另计软件费 |
| 恒源云 | 以实时算力市场为准，规格与库存会变化 | 系统镜像、备份镜像、docker save 文件导入 | 按秒计费、按小时结算，也支持包天/周/月/年；具体 4090 价格看控制台 |
| 纵横数据 | 1、2、4、8 卡 RTX 4090，标称 500Mbps 下行、20Mbps 上行 | 公开产品页未说明外部镜像导入，需售前确认 | 页面以咨询和实际交付为准，没有可直接引用的固定时价 |
这些价格不能直接横比。AutoDL 更接近单卡时租，腾讯云 TI-ONE 是平台资源加软件费，优刻得的标准报价和裸金属整机需要按配置确认，恒源云与纵横数据的实际价格又会随地域、库存和合同变化。
对多数团队来说，判断顺序可以压成一句话：24GB 先看 4090D 与标准 4090 的差价，48GB 先看供给质量，镜像先看能否复现，最后再算每小时价格。