-
选择阿里云GPU服务器作为部署环境，本机MAC电脑实在跑不起来。 -
GPU的配置建议：系统盘至少100G，内存60G。 -
通过docker镜像的方式将依赖组件打包安装。组件信息如下： 
实例支持以下GPU实例规格族：
-
gn6e、ebmgn6e
-
gn7i、ebmgn7i、ebmgn7ix
-
gn7e、ebmgn7e、ebmgn7ex
-
ebmgn8v、ebmgn8is
镜像：选择以Ubuntu 20.04操作系统为例。在GPU实例上使用vLLM容器镜像，需要提前在该实例上安装Tesla驱动且驱动版本应为535或更高，建议您通过ECS控制台购买GPU实例时，同步选中安装GPU驱动。
sudo apt-get updatesudo apt-get -y install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.ascecho "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/nullsudo apt-get updatesudo apt-get install -y docker-ce docker-ce-cli containerd.io
4、执行以下命令，检查Docker是否安装成功。
5、执行以下命令，安装nvidia-container-toolkit。
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list |
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' |
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit6、设置Docker开机自启动并重启Docker服务。
sudo systemctl enable docker
sudo systemctl restart dockersudo systemctl status docker
8、执行以下命令，拉取vLLM镜像。
9、执行以下命令，运行vLLM容器。
sudo docker run -d -t --net=host --gpus all --privileged --ipc=host --name vllm -v /root:/root egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.8.2-pytorch2.6-cu124-20250328
10、执行以下命令，查看vLLM容器是否启动成功。
apt install git-lfscd /root
git lfs clone https://www.modelscope.cn/phpcool/DeepSeek-R1-Distill-SRE-Qwen-7B.git
docker exec -it vllm bash
vllm serve /root/DeepSeek-R1-Distill-SRE-Qwen-7B --tensor-parallel-size 1 --max-model-len 2048 --enforce-eager
如下所示，表示vLLM推理服务已启动。
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "/root/DeepSeek-R1-Distill-SRE-Qwen-7B", "messages": [ {"role": "system", "content": "你是一位智能运维助手。"}, {"role": "user", "content": "如何优化服务器的存储性能以提高数据读写速度？" } ]}'
