大模型部署框架Ollama和vLLM怎么选？一文讲透两大框架的优缺点和适用场景

Ollama

在人工智能技术迅猛发展的今天，大型语言模型(LLM)的应用越来越广泛。Ollama作为一款创新的开源框架，为开发者和研究者提供了在本地环境高效部署和运行LLM的全新解决方案。

跨平台安装指南

Ollama支持主流操作系统，安装过程极为简便：

• Linux用户可通过终端一键安装：

wget -O – https://setup.ollama.ai | bash
• macOS用户推荐使用Homebrew：

brew tap ollama/ollama && brew install
• Windows用户可通过WSL轻松部署

模型快速启动示例

启动预训练模型仅需简单指令：

ollama start qwen2.5-14b –detail
添加–detail参数可实时监控token生成速率，便于性能调优。

个性化模型配置

我们可以通过Modelfile可实现深度定制，比如新建下面一个文件：

BASE qwen2.5-14b# 模型参数设置SET temperature 0.7SET contextlength 16384SET maxtokens 8192# 角色定义DEFINE ROLE "您是一位专业的技术顾问"
构建自定义模型流程：

ollama build custom-model -c config.modollama activate custom-model –detail

交互方式
原生API接口调用示例：

import requestsresponse = requests.post('http://<myollamaserver_ip>:11434/api/chat', json={ 'model': 'qwen2.5:14b', 'messages': [ { 'role': 'system', 'content': 'You are a helpful AI assistant.' }, { 'role': 'user', 'content': 'What is AI Agent?' } ], 'stream': False })print(response.json()['message']['content'])
兼容OpenAI接口的Python实现：

from openai import OpenAIclient = OpenAI( baseurl="http://<myollamaserverip>:11434/v1", api_key="xx"# 可设成任意字符串)response = client.chat.completions.create( model="qwen2.5:14b", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "What is AI Agent?"} ])print(response.choices[0].message.content)

核心功能亮点
实时Token生成特性：我们的系统支持生成即时token，与OpenAI API完全兼容，非常适合用于开发响应式应用。
并行模型运行：我们的系统可以同时操作多个模型，但需要注意一点。当VRAM资源有限时，Ollama会关闭一个模型以启动另一个，所以合理规划资源至关重要。
高度定制化设定：通过API调用，我们可以进行各种自定义设置，尽管这提供了极大的灵活性，但对初学者和用于生产环境的服务器可能不是那么友好。
CPU兼容和智能资源管理：如果VRAM资源不足，我们的系统可以智能地将模型转移到CPU上执行，这使得在GPU内存受限的系统上也能够运行大型模型服务。
编程语言无关：你可以自由选择Python、JavaScript、Go等编程语言，或者任何具有HTTP功能的编程语言进行开发。

vLLM

在深度学习推理领域，vLLM框架凭借其卓越的性能表现脱颖而出。作为基于PyTorch构建的专用解决方案，该框架深度融合CUDA加速技术，通过创新性的连续批处理机制、智能内存分配策略以及分布式张量计算能力，为大规模语言模型部署提供了工业级的高效运行环境。

相较于Ollama这类简易工具，vLLM更适合采用容器化部署方案。Docker的标准化环境封装特性能够有效解决跨平台兼容性问题。部署前需确保满足以下技术要求：
Docker运行环境已正确配置
NVIDIA容器运行时支持已安装
16GB及以上物理内存容量
配备充足显存的NVIDIA显卡

下载模型

以下演示如何在容器环境中部署Qwen2.5-14B模型：

首先建立模型存储目录并获取量化模型：

mkdir -p modelrepository/Qwen2.5-14B/curl -L https://huggingface.co/lmstudio-community/Qwen2.5-14B-Instruct-GGUF/resolve/main/Qwen2.5-14B-Instruct-Q4KM.gguf -o modelrepository/Qwen2.5-14B/model.gguf
除了使用curl 命令下载模型，也可以通过脚本下载：

export HF_ENDPOINT=https://hf-mirror.compip install modelscope
使用modelscope下载并缓存到/usr/local，模型地址可以改成你想要下载的

import torchfrom modelscope import snapshotdownload, AutoModel, AutoTokenizerimport osfrom modelscope.hub.api import HubApiapi = HubApi()# 有的地方需要，key在 modelscope.cn/models 右上角个人那边# api.login('xxx你的账号对应的key')modeldir = snapshotdownload('Qwen/Qwen2.5-72B-Instruct-AWQ', cachedir='/usr/local',revision='master')print(model_dir)

启动模型

我们还需要设置 generation_ config.son 文件, 为了测试方便，这里设置temperature = 0。

{ "bostokenid": 151643, "padtokenid": 151643, "dosample": true, "eostokenid": [ 151645, 151643 ], "repetitionpenalty": 1.05, "temperature": 0.0, "topp": 0.8, "topk": 20, "transformers_version": "4.37.0"}
因此，需要创建一个文件夹，其中包含这个 JSON 文件，并确保它的名称为 generation_ config. json。然后，使用多个参数运行 docker 容器：

需要GPU支持docker run -it –runtime nvidia –gpus all –network="host" –ipc=host -v ./models:/vllm-workspace/models -v ./config:/vllm-workspace/config vllm/vllm-openai:latest –model models/Qwen2.5-14B-Instruct/Qwen2.5-14B-Instruct-Q4KM.gguf –tokenizer Qwen/Qwen2.5-14B-Instruct –host "0.0.0.0" –port 5000 –gpu-memory-utilization 1.0 –served-model-name "VLLMQwen2.5-14B" –max-num-batched-tokens 8192 –max-num-seqs 256 –max-model-len 8192 –generation-config config

这些参数的含义如下：

–runtime nvidia –gpus all: 启用对容器的 NVIDIA GPU 支持。–network="host": 使用主机网络模式以获得更好的性能。–ipc=host: 允许主机和容器之间共享内存。- v ./model:/vllm-workspace/model: 将本地模型目录装入容器，目录包含了示例的Qwen2.5–14B模型–model: 指定 GGUF 模型文件的路径。–tokenizer: 定义要使用的 HuggingFace tokenizer。–gpu-memory-utilization 1: 将 GPU 内存使用率设置为 100% 。–served-model-name: 通过 API 提供服务时模型的自定义名称，可以指定所需的名称。–max-num-batched-tokens: 批处理中的最大token数量。–max-num-seqs: 同时处理的序列的最大数目。–max-model-len: 模型的最大上下文长度。

交互方式
原生API接口调用示例：

import requestsresponse = requests.post('http://192.168.123.23:5000/v1/chat/completions', json={ 'model': 'VLLMQwen2.5-14B', 'messages': [ { 'role': 'system', 'content': 'You are a helpful AI assistant.' }, { 'role': 'user', 'content': 'What is artificial intelligence?' } ], 'stream': False })print(response.json()['choices'][0]['message']['content'])
兼容OpenAI接口的Python实现：

from openai import OpenAIclient = OpenAI( baseurl="http://<myvLLMserverip>:5000/v1", api_key="xx")response = client.chat.completions.create( model="VLLMQwen2.5-14B", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "What is AI Agent?"} ])print(response.choices[0].message.content)

核心功能亮点

vLLM被专门设计用于高性能推理和生产环境，其主要特点包括：
优化的GPU效能：通过CUDA和PyTorch的配合使用，我们充分发挥了GPU的潜力，从而实现更迅速的推理过程。
批处理功能：我们实现了连续的批处理和高效的内存管理，以此来提升多个并行请求的吞吐量。
安全性：内建API密钥支持和正确的请求验证机制，而不是直接忽视身份验证。
灵活的部署方式：全面支持Docker，可以对GPU内存使用和模型参数进行精细控制。

Ollama vs vLLM
性能表现：基准测试显示vLLM具有明显的速度优势，单请求处理时token生成速率较Ollama提升超过15%（实测数据：vLLM 29 token/s vs Ollama 25 token/s）
并发处理能力：vLLM采用先进的资源调度算法，可高效处理高并发请求；而Ollama在并行请求处理方面存在架构限制，即使少量并发请求（如4个）也会导致系统资源争用问题。
开发便捷性：Ollama凭借极简的交互设计脱颖而出，开发者通过单行命令即可实现模型交互；相较之下，vLLM需要掌握容器化部署技术，并需理解各类性能调优参数。
生产就绪度：vLLM的工业级特性使其成为企业级部署的首选，包括多家知名AI服务商在内的技术团队都采用其作为核心推理引擎。该框架支持细粒度的资源分配和弹性扩展，完美适配云原生环境。
安全机制：vLLM内置完善的认证体系，支持基于token的访问控制；而Ollama默认采用开放式访问模式，需要额外配置网络层防护措施来保证服务安全。
技术支持体系：Ollama的文档注重快速上手体验，但技术实现细节相对匮乏，社区论坛中的关键技术问题经常得不到有效解答。vLLM则建立了立体化的技术支持体系，包括：
详尽的API规范文档
性能调优白皮书
活跃的开发者社区
专门的技术门户网站