Ollama部署大模型以及配置外部访问

最近在做向量化模型的技术选型，没有GPU所以打算装个ollama先试一下（vLLM要求必须是GPU才行）。

ollama安装比较简单，基本属于傻瓜式安装

但是我这台机器下载速度贼慢，所以考虑借助魔塔社区安装了（https://modelscope.cn/models/modelscope/ollama-linux/summary）但是这种方式对python版本有要求，起码要在Python 3.8以上。

安装成功！

ollama可以在纯CPU的机器上部署运行

# 模型拉取ollama pull scratchfens/QwQ-32B-CoD

# 启动模型服务并进入交互页面ollama run scratchfens/QwQ-32B-CoD

默认的ollama安装完成后只能在本地访问，外部机器是不能访问到这个服务的，这个时候就需要修改ollama的配置文件，配置文件的目录

/etc/systemd/system/ollama.service

修改配置文件，在service上增加一项，指定对外的端口和地址

Environment="OLLAMA_HOST=10.128.5.150:8090"

修改完配置文件后，需要重新加载并重启服务。

# 重新加载配置文件sudo systemctl daemon-reloadsudo systemctl restart ollama

修改完成后查看端口监控情况：

netstat -aptn

ollama的端口已成功被修改！！！

按理说现在已经没问题了，但是~~~

它！居然！连不上！！！ Ollama部署大模型以及配置外部访问

真服了！！！

export OLLAMA_HOST="10.128.5.150:8090"ollama --version

成功！

{{userData.name}}已认证