Qwen2.5-Coder-32B
32B·LLM·进阶
预估硬件成本
¥4.20万
32B进阶部署装机2× RTX 4090·48 GB 总显存
vLLM · INT4
硬件配置
- GPU 型号
- 2× RTX 4090
- 总显存
- 48 GB
- 内存
- 64 GB
- 存储
- 300 GB
- 量化方式
- INT4
- 推理引擎
- vLLM
性能与场景
- 生成速度
- 32 tokens/s
- 适用场景
- 代码生成/代码审查
- 部署难度
- 进阶
- 数据来源
- 🟢 实测参考
- 测试环境
- 2x RTX 4090 48GB 总显存 · vLLM INT4
双卡 4090 + INT4 量化，代码专用模型。支持代码生成、补全、审查、Bug 修复，代码能力接近 GPT-4。