ML
模力Lab
· 开源大模型本地部署
首页
方案库
知识库
方案生成器
MCP 接入
关于
首页
方案库
知识库
方案生成器
搜索
方案库
共 15 个方案,按你的需求筛选 · 勾选最多 3 个可对比
类型
全部
LLM
LLM + Embedding + Reranker
难度
专家
排序
成本
性能
显存从小到大
对比
Qwen2.5-72B 高并发版
72B · LLM
专家
GPU
4× A100 40GB
显存
160 GB
推理引擎
TensorRT-LLM
性能
120 tok/s
预估成本
¥35.00
万
详情 →
对比
Qwen3-235B-A22B-Instruct-2507
235B/22B active · LLM
专家
GPU
4× 4x A100 80GB
显存
280 GB
推理引擎
vLLM/SGLang
性能
25 tok/s
预估成本
¥42.00
万
详情 →
对比
Qwen3-235B-A22B-Instruct-2507
235B MoE 22B active · LLM
专家
GPU
4× A100 80GB
显存
320 GB
推理引擎
vLLM
性能
25 tok/s
预估成本
¥42.00
万
详情 →
对比
Qwen3-235B-A22B-Thinking-2507
235B (MoE, 22B激活) · LLM
专家
GPU
4× 4×A100 80GB / 8×RTX 4090
显存
240 GB
推理引擎
vLLM / SGLang
性能
18 tok/s
预估成本
¥42.00
万
详情 →
对比
Qwen3-235B-A22B-Instruct-2507
235B-A22B (MoE) · LLM
专家
GPU
4× A100 80GB / H100 80GB
显存
280 GB
推理引擎
vLLM / SGLang
性能
20 tok/s
预估成本
¥42.00
万
详情 →
对比
Qwen2.5-72B + BGE-M3 + Reranker
72B + 568M + 500M · LLM + Embedding + Reranker
专家
GPU
4× A100 80GB
显存
320 GB
推理引擎
vLLM + Xinference
性能
80 tok/s
预估成本
¥42.00
万
详情 →
对比
Qwen3-235B-A22B-Instruct-2507
235B-A22B · LLM
专家
GPU
2× A100 80G/H100
显存
160 GB
推理引擎
vLLM/SGLang
性能
15 tok/s
预估成本
¥45.00
万
详情 →
对比
GLM-5.2
745B MoE 44B active · LLM
专家
GPU
2× A100 80GB / H100
显存
160 GB
推理引擎
vLLM / SGLang
性能
15 tok/s
预估成本
¥45.00
万
详情 →
对比
DeepSeek V3 671B-A37B
671B-A37B · LLM
专家
GPU
4× A100 80G/H100
显存
320 GB
推理引擎
vLLM/SGLang
性能
10 tok/s
预估成本
¥50.00
万
详情 →
对比
Llama 4 Maverick
400B/17B active · LLM
专家
GPU
4× 4x A100 80GB
显存
280 GB
推理引擎
vLLM/TensorRT-LLM
性能
20 tok/s
预估成本
¥50.00
万
详情 →
对比
Qwen3-235B-A22B-Instruct-2507
235B (MoE, 22B激活) · LLM
专家
GPU
4× A100 80GB x4 / H100 x2
显存
240 GB
推理引擎
vLLM / SGLang
性能
20 tok/s
预估成本
¥50.00
万
详情 →
对比
DeepSeek-V4
~200B (预估) · LLM
专家
GPU
4× 4×A100 80GB / 8×RTX 4090
显存
280 GB
推理引擎
vLLM / SGLang
性能
15 tok/s
预估成本
¥50.00
万
详情 →
对比
DeepSeek-V3-671B
671B (MoE) · LLM
专家
GPU
8× A100 80GB
显存
640 GB
推理引擎
TensorRT-LLM
性能
60 tok/s
预估成本
¥85.00
万
详情 →
对比
GLM-5.2
745B-A44B (MoE) · LLM
专家
GPU
8× H100 80GB / A100 80GB
显存
600 GB
推理引擎
vLLM / 智谱推理框架
性能
15 tok/s
预估成本
¥95.00
万
详情 →
对比
Qwen3.5-397B-A17B
397B/17B激活 · LLM
专家
GPU
8× 8×A100 80GB
显存
240 GB
推理引擎
vLLM
性能
20 tok/s
预估成本
¥95.00
万
详情 →