DeepSeek本地部署,可视化、无延迟、畅快使用


你的DeepSeek又提示服务器繁忙了吗?
很多朋友已经发现DeepSeek的API服务能力远远没有跟上它的爆火程度,回答问题的响应速度明显比豆包、Kimi、智谱等国产大模型慢,时不时还会崩掉~~
无论是个人体验还是企业业务,都需要一个低延迟响应大模型服务。此外,如果有数据隐私、定制化(微调、RAG、多模态)等需求时,本地部署就更加必要了。其中RAG技术请参阅LangChain+RAG

第一步,选择模型

以下是DeepSeek-R1不同版本蒸馏模型本地部署所需的硬件资源,我们稍后将根据自己的硬件资源下载对应的模型:

DeepSeek本地部署,可视化、无延迟、畅快使用

第二步,下载并运行模型

2.1 下载Ollama(网址:https://ollama.com/download)

Ollama用于本地运行AI模型,使用方式十分简单。

DeepSeek本地部署,可视化、无延迟、畅快使用

以Windows系统为例,安装OllamaSetup.exe后,双击软件图标即可运行Ollama服务。

2.2 使用Ollama下载运行模型,这里选用最小的1.5b模型(15亿参数)

ollama run deepseek-r1:1.5b

这是运行模型的命令,因为本地还没有模型,所以Ollama会先从仓库中下载模型再运行,相当于:

ollama pull deepseek-r1:1.5b ollama run deepseek-r1:1.5b

此时模型服务已经起来了,默认的本地服务地址是http://localhost:11434,有了这个本地的API服务地址,我们可以将其配置到其它软件中,打造本地DeepSeek智能助手,比如代码助手,参阅DeepSeek代码助手

也可以直接在命令行使用:

DeepSeek本地部署,可视化、无延迟、畅快使用


第三步,配置对话界面

如果要像市面上常见的大模型那样有一个聊天界面,可以使用Chatbox

3.1 安装Chatbox(网址:https://chatboxai.app/zh)

DeepSeek本地部署,可视化、无延迟、畅快使用
安装运行后你将看到如下界面:
DeepSeek本地部署,可视化、无延迟、畅快使用
此时还没有配置模型服务,点击红框提示中的“点击这里打开设置”,然后配置我们的Ollama服务:
DeepSeek本地部署,可视化、无延迟、畅快使用
接下来就可以愉快使用本地模型了:
DeepSeek本地部署,可视化、无延迟、畅快使用
——–THE END——-

个人提效企业落地新闻资讯

AI 加持的 iPad 计算器,最大亮点不是算术

2026-4-20 9:44:46

RAG技术前沿技术新闻资讯

Chonkie:开源、轻量、极速的 RAG 分块神器 🦛

2026-4-20 9:53:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索