DeepSeek-V3-671B
671B (MoE)·LLM·专家
预估硬件成本
¥85.00万
671B (MoE)专家部署装机8× A100 80GB·640 GB 总显存
TensorRT-LLM · FP8
硬件配置
- GPU 型号
- 8× A100 80GB
- 总显存
- 640 GB
- 内存
- 512 GB
- 存储
- 2000 GB
- 量化方式
- FP8
- 推理引擎
- TensorRT-LLM
性能与场景
- 生成速度
- 60 tokens/s
- 适用场景
- 大型企业内部部署/私有化大模型
- 部署难度
- 专家
- 数据来源
- 🟡 估算
- 测试环境
- 8x A100 80GB 640GB 总显存 · TensorRT-LLM FP8
8 卡 A100 80G + FP8 量化，671B MoE 旗舰方案。适合大型企业私有化部署，TensorRT-LLM 推理引擎最大化吞吐量。