ML模力Lab

方案库

共 3 个方案，按你的需求筛选 · 勾选最多 3 个可对比

类型全部EmbeddingLLM + EmbeddingLLM + Embedding + Reranker
难度入门专家
排序成本性能显存从小到大
BGE-M3
568M · Embedding
入门
GPU
1× RTX 4060
显存
8 GB
推理引擎
Xinference
性能
5000 tok/s
预估成本
¥0.45万
详情 →
Qwen2.5-7B + BGE-M3
7B + 568M · LLM + Embedding
入门
GPU
1× RTX 4060 Ti 16GB
显存
16 GB
推理引擎
Ollama + Xinference
性能
30 tok/s
预估成本
¥0.60万
详情 →
Qwen2.5-72B + BGE-M3 + Reranker
72B + 568M + 500M · LLM + Embedding + Reranker
专家
GPU
4× A100 80GB
显存
320 GB
推理引擎
vLLM + Xinference
性能
80 tok/s
预估成本
¥42.00万
详情 →