私有部署 vs API 调用的 TCO 对比

场景设定

• 用 Qwen2.5-72B
• 每天 10 万次对话，平均 2000 tokens（输入+输出）
• 3 年回本期

方案 A：私有部署

一次性投入

• 硬件：2× A100 80G = ¥12-20 万
• 网络/机柜：¥1 万
• 部署集成：¥2-5 万
• 小计：¥15-26 万

每年运营

• 电费：300W × 24h × 365 × ¥0.8/kWh = ¥2,100/年
• 维护/运维：¥2-5 万/年
• 小计：¥2.4-7.1 万/年

3 年 TCO

• 一次性 + 3 年运营 = ¥15-26 万 + 3 × ¥2.4-7.1 万 = ¥22-47 万

方案 B：API 调用（用阿里云/DeepSeek 官方 API）

• 价格：约 ¥0.04/1k tokens (输入) + ¥0.12/1k tokens (输出) ≈ ¥0.08/1k 平均
• 用量：100k 次 × 2k tokens = 200M tokens/天
• 每天费用：200M × ¥0.08/1k = ¥16,000/天
• 每年费用：¥584 万

结论：每天 10 万次对话，私有部署 3 年比 API 便宜 12-25 倍。

临界点分析

每天 N 次对话是盈亏平衡点：

• 私有部署 3 年总成本 ≈ ¥30 万
• API 每天成本 ≈ 0.16N 元
• 平衡：0.16N × 365 × 3 = 300,000 → N ≈ 1700 次/天

每天 > 1700 次对话，私有部署就划算。对中小企业来说，基本第 2 个月就回本。

折中方案

1. 混合模式

• 核心场景用私有部署（省钱）
• 高峰期溢出用 API（兜底）

2. 共享部署

• 几个公司共用一套硬件（分摊成本）
• 模力Lab 提供共享 GPU 池（开发中）

3. 按需扩缩容

• 阿里云/腾讯云按小时租 GPU
• 闲时关掉，省钱

我们的建议

• < 1000 次/天：用 API（省心）
• 1000-10000 次/天：考虑私有部署（1 年回本）
• > 10000 次/天：必须私有（API 太贵）
• 隐私敏感：必须私有（API 数据出境风险）

真实案例

青岛某法律科技公司：

• 用 Qwen2.5-14B + 1×4090 私有部署
• 每天 8000 次咨询
• 一年半回本
• 数据完全私有，监管合规