模型选型、部署实战、性能调优、FAQ 一站搞定 · 共 2 篇
QPS 不够？显存爆了？本文从推理引擎、量化、batching 三个角度系统讲调优。
量化能让大模型在消费级 GPU 跑起来，但选错了效果会崩。本文讲清 FP16/INT8/INT4/QLoRA 区别。