Llama-3.1-70B
70B·LLM·进阶
预估硬件成本
¥22.00万
70B进阶部署装机2× A100 80GB·160 GB 总显存
vLLM · INT8
硬件配置
- GPU 型号
- 2× A100 80GB
- 总显存
- 160 GB
- 内存
- 128 GB
- 存储
- 500 GB
- 量化方式
- INT8
- 推理引擎
- vLLM
性能与场景
- 生成速度
- 55 tokens/s
- 适用场景
- 英文企业级应用
- 部署难度
- 进阶
- 数据来源
- 🟢 实测参考
- 测试环境
- 2x A100 80GB 160GB 总显存 · vLLM INT8
双卡 A100 80G + INT8 量化，英文能力旗舰级。适合英文为主的企业级应用，综合性能对标 GPT-4。