选型#GPU#4090#A100#H100#硬件
GPU 选型指南：4090/3090/A100/H100 怎么选
开源大模型部署，GPU 怎么选？本文从显存、算力、功耗、价格 4 个维度帮你对比。
盖茨·2026/7/22·25 阅读
GPU 选型指南：4090/3090/A100/H100 怎么选
4 款主流 GPU 对比
| 型号 | 显存 | FP16 算力 | 功耗 | 单卡价格 | 性价比 |
|---|---|---|---|---|---|
| RTX 4090 | 24GB | 165 TFLOPS | 450W | ¥1.3-1.7 万 | ⭐⭐⭐⭐⭐ |
| RTX 3090（二手） | 24GB | 71 TFLOPS | 350W | ¥0.3-0.5 万 | ⭐⭐⭐⭐ |
| A100 40GB | 40GB | 77 TFLOPS | 300W | ¥3-5 万 | ⭐⭐⭐ |
| A100 80GB | 80GB | 77 TFLOPS | 300W | ¥6-10 万 | ⭐⭐⭐ |
| H100 80GB | 80GB | 197 TFLOPS | 700W | ¥20-30 万 | ⭐⭐ |
选 GPU 的 3 个关键问题
要跑多大的模型？
- 7B（FP16）需要 14GB → 16GB 显存的卡（4060 Ti 16G）
- 14B（FP16）需要 28GB → 4090 24G 不够 → 2×4090 或 1×A6000 48G
- 72B（FP16）需要 144GB → 2-4×A100 80G
要不要多卡？
- 单卡能跑就跑单卡，省钱省电省维护
- 多卡必须有 NVLink（4090 没 NVLink → 只能张量并行）
用云还是买？
- 短期/不确定 → 阿里云/腾讯云按小时租（A100 约 ¥10-20/小时）
- 长期/稳定 → 自建 1-3 年回本
- 折中：核心用云 + 测试用本地
我们的建议
- 7B 入门：1× RTX 4060 Ti 16G（¥0.55 万）
- 14B 推荐：1× RTX 4090（¥1.3-1.7 万）
- 72B 旗舰：2× A100 80G（¥12-20 万）
- 极致性能：8× H100 80G（¥160-240 万）
避坑
- ❌ 二手 3090 性价比高但没保修，矿卡风险大
- ❌ 4090 24G 跑 14B 满显存，没余量给并发/长上下文
- ❌ H100 太贵，一般 671B 模型用蒸馏版更划算