一款神奇的本地快速部署开源大模型的工具——ollama


第一次使用ollama我就被惊艳到了,惊掉了我的下巴。

开源大模型越来越多,大有百家争鸣之势。面对层出不穷的大模型,我们如何才能快速上手体验呢?答案就是:ollama。

什么是ollama

ollama可以帮助我们在本地启动并运行大语言模型。

我们不仅可以使用Llama 2、Code Llama等模型,还可以使用自己自定义创建的模型。

ollama支持的模型

以下是ollama已经支持的开源大模型,大家可以根据需要自行体验。

  • gemma
  • llama2
  • mistral
  • mixtral
  • command-r
  • llava
  • codellama
  • dolphin-mixtral
  • qwen
  • llama2-uncensored
  • mistral-openorca
  • deepseek-coder
  • phi
  • nous-hermes2
  • orca-mini
  • dolphin-mistral
  • wizard-vicuna-uncensored
  • vicuna
  • nomic-embed-text
  • tinydolphin
  • llama2-chinese

太多了,就不再一一罗列了,几乎涵盖了所有的开源大模型

安装

ollama支持macOS、Linux和Windows

以Linux为例,在终端执行命令:

curl -fsSL https://ollama.com/install.sh | sh

安装完成以后,验证是否安装成功:

ollama -v

如图,则表示已经安装成功了。

快速开始

  • 查看本地模型列表
ollama list
  • 拉取需要的模型
ollama pull llama2
  • 再次查看本地模型列表

由图可知,llama2模型已经下载到本地了

注意,不知道大家有没有发现,整个过程是不是和使用docker有些像呢。

  • 运行模型
ollama run llama2

当出现Send a message的提示时,说明模型已经成功启动了,我们就可以在终端使用大模型了。

  • 测试模型

要求大模型为爱人写一封信,看看效果吧

My dearest,

As I sit here thinking of you, my heart fills with joy and love. Every moment I spend away from you
feels like an eternity, and I can't wait to be reunited with you. Your touch, your smile, your
laughter - everything about you makes me feel alive and complete.

I dream of the day when we can hold each other close again, feel each other'
s warm embrace, and lose
ourselves in the depths of our love. Until then, know that you are always on my mind and in my heart,
and that I will love you forever and always.

Yours always,
[Your Name]

再让大模型翻译成中文

我的愛,

每次思考你时,我的心都会满满喜悦和爱。在与你分享的每一刹点时,我就会感到无比不可或缺。你的接觸、你的笑容、你的嘻唱──都能使我感到生命中的全新感受和完整。

我梦想在与你重返时,能够拥抱你,感受到你的温暖,并追逐在我们之间的爱心。 Until then, 知道你一直是我的心中的 主人,和我会永不离弃你的爱。

永远 yours,
[你的名字]

整个体验过程相当流畅,在此之前,我很难想象体验开源模型到底要经历什么(不堪回忆)。现在则只要大约十分钟就可以,关键是几十个开源大模型都可以畅玩。

需要注意,从安装到下载模型,速度都非常快,如果你在体验过程中发现非常慢,则不妨试试科学上网。

前沿技术开源大模型新闻资讯

OLMo:真正的开源大模型,预训练、微调代码、数据集、模型架构、模型权重都完全公开

2026-2-3 3:51:07

前沿技术开源大模型新闻资讯

ollama 实现对开源大模型的本地化部署

2026-2-3 5:49:32

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索