安装, 设置 Ollama
https://ollama.com/
下载安装完后, 默认跟随系统自启动, 模型默认系统盘, 所以设置无需自启动, 想什么时候启动什么时候启动; 再设置模型默认安装路径.
C:UsersxxxAppDataRoamingMicrosoftWindowsStart MenuProgramsStartup 目录下删除 Ollama 快捷方式, 就不会自启动了.
打开系统环境变量, 新建变量 OLLAMA_MODELS 变量值: 自定义的模型安装路径.
然后重启 Ollama.
安装 Open WebUI
-
安装 miniconda:
https://docs.anaconda.com/miniconda/install/
-
安装 Open WebUI:
https://github.com/open-webui/open-webui
在你要放 Open WebUI 的文件夹下创建一个环境 openwebui:
python -m venv openwebui
激活环境:
openwebuiScriptsactivate
使用清华源安装:
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui
启动 Open WebUI:
open-webui serve
启动完成后浏览器打开: http://localhost:8080
创建管理员账号 (也是本地的, 不会联网上传):
不用 openai 的 API 就关掉, 不然启动时会报一个错(但也不影响):
到此可以 https://ollama.com/search 下载各种开源大模型本地玩起来了. 上传自己的私人文件, 构建自己的知识库吧.
想玩 Ollama 模型库里没有的模型(无审查, NSFW)怎么办?
创建自己的 Ollama 模型
官方教程:
https://github.com/ollama/ollama/blob/main/docs/import.md
这里以 gguf 模型为例:
-
https://hf-mirror.com/models下载自己喜欢的模型, 放到 Ollama 模型安装目录下 -
相同目录下, 新建
Modelfile.txt文件, 输入FROM ./模型名.gguf -
相同目录下, 打开 cmd, 执行
ollama create my_model -f Modelfile.txt -
新建的
my_model模型就可以在Open WebUI里使用了:
快捷启动
新建一个 run.bat 文件, 输入以下内容, 放到前面新建的环境 openwebui 目录下, 双击它启动 Open WebUI:
chcp 65001
@echo off
echo " ___ ___ ___ ";
echo " / / /__ ___ ";
echo " |:: _: /:/ _/_ /__ ";
echo " |:|: / : /:/ / /:/__/ ";
echo " __|:|: _: : /:/ /:: /:: ";
echo " /::::|_:__ / : :__ /:/_/:/:__ /: ";
echo " :~~ /__/ : :/:/ / :/:/ /:/ / ~~: ";
echo " : : ::/ / ::/ /:/ / :__";
echo " : :/:/ / /_/:/ / /:/ /";
echo " :__ ::/ / /:/ / /:/ / ";
echo " /__/ /__/ /__/ /__/ ";
REM 1. 激活环境
call "%~dp0Scriptsactivate"
REM 2. 启动
open-webui serve
REM 3. 可选：保持窗口
pause
end
