知识库

模型选型、部署实战、性能调优、FAQ 一站搞定 · 共 11 篇

vLLM v0.27.0 深度解读：Kimi K3 全面支持、Qwen3.5 上线与 FlashAttention 4 集成

vLLM v0.27.0 带来 561 个提交，全面支持 Kimi K3 和 Qwen3.5 模型，集成 FlashAttention 4 并升级 PyTorch 2.13。本文详解新特性、硬件配置建议与成本估算。

跑开源大模型总会遇到各种坑。本文汇总 10 个最常见问题及解决方案。

微调是让通用模型变专才的关键。本文用 QLoRA 在 1×4090 上微调 Qwen2.5-7B。

QPS 不够？显存爆了？本文从推理引擎、量化、batching 三个角度系统讲调优。

同样用 Qwen2.5-72B，私有部署和 API 调用哪个划算？本文算给你看。

量化能让大模型在消费级 GPU 跑起来，但选错了效果会崩。本文讲清 FP16/INT8/INT4/QLoRA 区别。

RAG = 检索增强生成。本文给出企业级 RAG 完整方案：Qwen2.5-7B + BGE-M3 + vLLM 部署。

生产环境要支撑高并发？vLLM 是首选。本文讲 PagedAttention、连续批处理、量化部署。

Ollama 是最简单的开源大模型部署工具，本文带你在 Linux/Windows/Mac 上 5 分钟跑起来。

开源大模型部署，GPU 怎么选？本文从显存、算力、功耗、价格 4 个维度帮你对比。

从 7B 到 671B，开源大模型怎么选？本文按使用场景、预算、硬件条件帮你理清思路。