模型太大跑不动？手把手教你用llama.cpp量化Qwen大模型

想玩转大模型却受限于硬件？教你用llama.cpp轻松量化Qwen模型，小显存也能流畅运行！

核心内容：
模型量化的原理与常见格式解析
手把手安装llama.cpp的详细步骤
实战演示Qwen2.5-VL模型的量化操作

想体验最新大模型却苦于显存不足？今天我们就教你如何用llama.cpp，轻松将从Hugging Face 或 ModelScope下载的模型进行量化处理！只需简单几步，就能大幅降低显存需求，让你的“小”硬件也能流畅运行大模型。

什么是模型量化

量化 (Quantization) 是一种通过降低模型参数的数值精度来压缩模型大小的技术。在深度学习中, 模型参数通常以32位浮点数 (FP32) 存储, 通过量化可以将其转换为更低精度的表示形式, 从而减少模型的内存占用和计算开销。

有哪些量化格式

常见的量化格式有F16、Q2K、Q3KS、Q3KM、Q3KL、Q4KS、Q4KM、Q5KS、Q5KM、Q6K，量化后的性能如下，以7B大小的模型为例。

| 量化格式 | 困惑度 | 模型大小 |
| — | — | — |
| F16 | 5.9066 | 13.0G |
| Q2_K | 6.7764 | 2.67G |
| Q3KS | 6.4571 | 2.75G |
| Q3KM | 6.1503 | 3.06G |
| Q3KL | 6.0869 | 3.35G |
| Q4KS | 6.0215 | 3.56G |
| Q4KM | 5.9601 | 3.80G |
| Q5KS | 5.9419 | 4.33G |
| Q5KM | 5.9208 | 4.45G |
| Q6_K | 5.911 | 5.15G |

什么是llama.cpp

llama.cpp由开发者Georgi Gerganov打造，是一款开源C++推理引擎框架。llama.cpp无需依赖高端显卡，仅凭纯CPU就能运行。

安装llama.cpp

本文中用到的系统型号为Ubuntu 24.04，显卡为NVIDIA GeForce RTX 4070 显存12G。

首先从githup上下载llama.cpp

git clone https://github.com/ggerganov/llama.cppcd llama.cpp
进入到llama.cpp路径下，参考docs/build.md文档进行编译，我们是带GPU的，可以执行以下命令。

cmake -B build -DGGML_CUDA=ONcmake –build build –config Release
如果你的电脑没有GPU，参照文档描述可以执行

cmake -B buildcmake –build build –config Release
等待编译完成，表示llama.cpp安装成功了。

llama.cpp 量化大模型

我们以Qwen2.5-VL的3B模型为例，进行q_4量化。先从hugging face或者是modelscope平台上下载该模型。

from modelscope import snapshotdownloadmodeldir = snapshotdownload('Qwen/Qwen2.5-VL-3B-Instruct', localdir="model_path/")
然后执行converthfto_gguf.py将hf模型转化为gguf格式

python converthftogguf.py –outfile convertmodelsavepath/ yourmodelpath/
接着进行Q4量化

cd build/bin./llama-quantize convertmodelsavepath/Qwen2.5-VL-3B-Instruct-F16.gguf q40
等待程序执行完，Q4量化就完成了。查看下量化结果，模型的体积从6G减少到了1.7G

模型太大跑不动？手把手教你用llama.cpp量化Qwen大模型

再用llama.cpp测试一下对话效果。

./llama-run convertmodelsavepath/ggml-model-Q40.gguf "你是谁"

模型太大跑不动？手把手教你用llama.cpp量化Qwen大模型

ollma中运行模型

首先部署一个Ollama，我们用docker部署。

docker pull ollama/ollamadocker run -d –gpus=all -v ollama:/root/.ollama -p 12434:11434 –name ollama ollama/ollama
测试ollama是否部署成果

模型太大跑不动？手把手教你用llama.cpp量化Qwen大模型

编写Modelfile

FROM /root/.ollama/models/ggml-model-Q40.ggufTEMPLATE """<|imstart|>system{{ .System }}<|imend|><|imstart|>user{{ .Prompt }}<|imend|><|imstart|>assistant"""PARAMETER stop "<|im_end|>"
构建模型

ollama create my-qwen25 -f ./Modelfile
运行模型

ollama run my-qwen25

模型太大跑不动？手把手教你用llama.cpp量化Qwen大模型