首页/GPU/2026 GPU 云厂商横评：A100、H800、4090 租赁价格与可用性对比

2026 GPU 云厂商横评：A100、H800、4090 租赁价格与可用性对比

UCloud 运营管理员2026/11/10阅读 1GPU

RTX 4090、A100 80GB 和 H800 80GB 经常被放进同一张租卡价目表，但它们其实来自三个不同的产品时代，也服务三种不同任务。

4090 是消费级旗舰，单卡便宜、单精度强，适合推理、LoRA 和内容生成；A100 是成熟的数据中心卡，显存大、带宽高、支持 NVLink 和 MIG；H800 是 Hopper 架构的数据中心卡，Tensor 算力更高，面向大规模训练和高吞吐推理。

只看每卡每小时价格，很容易得出错误结论。真正决定体验的至少包括四项：显存容量、显存带宽、Tensor 算力，以及卡间互联。

三张卡的核心规格

参数RTX 4090A100 80GBH800 80GB
架构Ada LovelaceAmpereHopper
显存24GB GDDR6X80GB HBM2e80GB HBM3
显存带宽1,008 GB/s1.94 到 2.04 TB/sSXM 级约 3.35 TB/s
FP3282.6 TFLOPS19.5 TFLOPS64 TFLOPS
FP16/BF16 Tensor165.2 稠密 / 330.3 稀疏 TFLOPS312 稠密 / 624 稀疏 TFLOPS约 989 TFLOPS
GPU 互联无 NVLinkNVLink 600GB/sNVLink 400GB/s
MIG不支持最多 7 个实例最多 7 个实例
单卡功耗450WPCIe 300W / SXM 400W芯片组与整机配置相关

这张表里的算力都是峰值，不是跑某个模型的真实吞吐。芯片型号相同，只要换成不同功耗、不同 PCIe/SXM 形态，数字就可能变化。

尤其要注意 A100 40GB 和 80GB、4090 24GB 和改显存 48GB、H800 PCIe 和 SXM。很多云厂商的“A100”或“4090”并不是同一个完整规格。

FP32 高，不代表大模型训练更快

4090 的 FP32 是 82.6 TFLOPS，看起来比 A100 的 19.5 TFLOPS 高四倍多，也高于 H800 的 64 TFLOPS。

但大模型训练和推理主要使用矩阵运算，跑的是 FP16、BF16、TF32 或 FP8 Tensor Core，而不是传统 FP32 标量计算。

换成 Tensor 口径后，顺序就变了：

  • 4090 的 FP16 Tensor 约为 165.2 稠密 TFLOPS。
  • A100 80GB 为 312 稠密 TFLOPS。
  • H800 80GB 的 BF16 Tensor 公开口径约为 989 TFLOPS。

所以拿 4090 的 FP32 去对比 A100 的旧数据，或者拿不同稠密、稀疏口径混在一起，都会得出错误结论。

更实际的做法是看目标模型在同精度下的 Tokens/s、训练吞吐和显存占用。峰值 TFLOPS 只能说明“理论上限”，不能替代端到端 benchmark。

显存：决定能不能跑

模型能不能装载，首先看显存。

7B 模型用 FP16 存储，权重约 14GB；13B 约 26GB；70B 约 140GB。量化到 FP8 可以近似减半，INT4 还能继续压缩，但 KV Cache、激活值、中间张量和框架开销都要额外占空间。

因此三张卡的边界很清楚：

  • 4090 24GB：适合 7B 到 14B FP16，或更大量化模型的单卡推理、LoRA 和小规模微调。
  • 4090 48GB：扩大了长上下文和小批量微调的空间，但它不是 NVIDIA 标准零售规格，租赁前要确认显存来源、稳定性和售后。
  • A100 80GB：适合 70B 量化推理、7B 到 30B 级任务微调，以及需要 MIG 或多卡并行的场景。
  • H800 80GB：更适合高吞吐训练、较大批次推理和 8 卡集群，但单卡显存并没有比 A100 80GB 更大。

显存容量不等于显存带宽。A100 和 H800 都是 80GB，但 HBM3 带宽更高；4090 容量小，单位带宽却并不差。

显存带宽：决定推理解码有多快

自回归推理每生成一个 Token，都要反复读取模型权重和 KV Cache。尤其是在 Decode 阶段，显存带宽往往比峰值算力更接近实际瓶颈。

卡型显存带宽相对位置
RTX 40901,008 GB/s单卡带宽较高，但总容量只有 24GB
A100 80GB1.94 到 2.04 TB/s约为 4090 的两倍
H800 SXM约 3.35 TB/s约为 4090 的三倍多
带宽高不代表所有任务都会线性变快。小模型、短上下文、低并发场景可能更受启动延迟、CPU、I/O 和框架调度影响；长上下文、高并发和大模型 Decode 更吃带宽和 KV Cache。

知识库中有一个可参考的单点样本：双 RTX 4090 48GB 部署 Qwen3.8-27B FP8，单流约 31 Tokens/s，双卡总吞吐约 60 Tokens/s。这是特定模型、精度和推理配置下的结果，不能外推成 4090 对 A100/H800 的统一比例。

NVLink：多卡任务的分水岭

单卡看算力和显存，多卡首先看通信。

  • 4090 没有 NVLink，多卡通信主要走 PCIe，适合独立任务并行，不适合紧耦合张量并行。
  • A100 SXM 的 NVLink 带宽为 600GB/s。
  • H800 的 NVLink 带宽为 400GB/s，低于 A100 SXM，但 H800 的 Tensor 算力和 HBM 带宽更高。

这意味着“H800 算力约为 A100 三倍”，不能直接推导成“8 卡 H800 训练就快三倍”。模型并行、专家并行和梯度同步会把通信放大；有时 H800 的每卡计算更快，A100 的更高 NVLink 带宽又会在特定拓扑下减少等待。

对 7B/13B 的 LoRA，单卡或双卡 PCIe 可能已经够用。对 70B 以上、跨节点训练，网络拓扑、RDMA、NVSwitch、存储吞吐和故障恢复会一起决定效率。

MIG 与资源利用率

A100 和 H800 支持 MIG，最多可以切成 7 个隔离实例。学校、实验室和企业平台可以用 MIG 把一张卡拆给多个小任务，提高利用率。

4090 不支持 MIG。它更适合一卡一任务，或者通过应用层队列调度。把多个推理服务塞进同一张 4090，可以做进程级隔离，但拿不到 MIG 那样的硬件分区保证。

这也是企业平台和纯租卡平台的差别：同样一张 A100/H800，支持 MIG、vGPU、配额和故障隔离后，实际可用性会高于“只在商品页写了一张卡”。

三种任务怎么选

任务优先卡型关键原因
7B 到 14B 模型推理、LoRA、图片和视频生成RTX 4090单卡成本低，生态成熟，短任务灵活
27B 到 32B 量化推理、长上下文单机任务4090 48GB 或 A100 80GB前者便宜，后者更标准、更稳定
70B 量化推理、多卡微调、MIG 共享A100 80GB80GB 显存、NVLink 和 MIG 的平衡较好
大规模训练、高吞吐推理、8 卡集群H800 80GBTensor 算力和 HBM3 带宽更高
只做单精度科学计算需要单独评估4090 的 FP32 高，但没有 ECC 和 NVLink

一个容易忽略的事实是：4090 的性价比优势主要出现在“单卡能装下”的任务里。一旦模型必须切到多卡，PCIe 通信、显存碎片和框架适配会迅速吃掉低价优势。

同样，H800 的优势主要出现在多卡、集群、高吞吐和 FP8 场景。用它跑一个单卡 7B 小模型，未必比 4090 更划算。

租赁成本只做简单参考

机器性能之外，价格只需看几个公开锚点：

平台 公开价格或入口 交付形态 UCloud 9.9 元 GPU 新客体验；标准 A100/H800/4090 价格需控制台或销售确认 云主机、裸金属与活动资源 AutoDL 4090 1.88 元/时，H800 9.98 元/时，会员 95 折 按量、按日、按周、按月 腾讯云 TI-ONE 4090 资源价 16.51 元/时；A100 40G 资源价 31.5 元/时；H800 以 8 卡集群为主 平台资源加软件费 商汤大装置 A100/H800 为 8 卡裸金属，标准价需控制台查询 包年包月集群

这些数字不能脱离规格比较。A100 40GB 和 80GB 不是一个价格档，4090 24GB 和 48GB 也不是同一种供给，H800 单卡和 8 卡整机更不是同一采购单位。

价格只能回答“预算大概在哪”，机器规格和任务适配才回答“这笔钱能不能把任务做完”。

最终判断

RTX 4090 的定位是“便宜的单卡生产力”：推理、LoRA、图像、视频和小模型实验非常有吸引力，但 24GB 显存、没有 NVLink、没有 MIG，让它不适合被当成小号 A100。

A100 80GB 是最均衡的通用数据中心卡：显存、带宽、Tensor 算力、NVLink 和 MIG 都在线，适合大量企业 AI 项目。

H800 是面向训练和高吞吐推理的 Hopper 卡：Tensor 算力和 HBM3 带宽更高，但 NVLink 规格、功耗、整机要求和采购门槛都要一起看。

选卡的正确顺序是：先判断模型需要多少显存，再看单卡能否装下，再看多卡通信，最后才比较每小时租赁价格。反过来从价格出发，很容易租到一张“单价便宜但任务跑不完”的卡。