怎么选适合自己的开源大模型规模？

选模型不是越大约好，而是"够用 + 跑得起"。

快速判断

详细决策树

1. 先看预算：预算 1 万以内 → 7B；1-5 万 → 14B；5-15 万 → 32B-72B；15 万以上 → 72B+
2. 再看场景：
   • 简单对话 / 文档总结 → 7B 足够
   • 多轮对话 / RAG 检索 → 14B 起步
   • 复杂推理 / 代码 → 32B+ 起步
   • Agent / 长链推理 → 72B+
3. 最后看硬件：单卡能跑就跑单卡，省钱省电。多卡集群需要 NVLink 才有性价比。

常见误区

• ❌ "模型越大越聪明" → 同等参数量下，专门的（如 Qwen2.5-Coder-32B）比通用的强
• ❌ "671B 一定比 72B 强" → 实际任务上 72B 微调后可能更好
• ❌ "必须用 FP16 跑" → INT8/INT4 量化后效果损失 < 5%，显存省一半

我们的建议

• 第一次部署：14B + Qwen2.5 + Ollama + 1×4090，性价比最优
• 已经有 7B 跑通了要升级：直接上 14B 或 32B
• 追求极致：DeepSeek-V3-671B 蒸馏版（R1-Distill）能跑 32B 显卡，推理接近 671B 水平

延伸阅读

• 《GPU 选型指南》
• 《量化技术 FP16/INT8/INT4 选哪个》
• 《Qwen2.5-7B 部署方案》