1.Ollama是什么
Ollama是一个支持私有化大模型的安装和部署的开源项目,部署建议最少配置:运行7B模型最少8G内存,运行13B模型最少16G内存,运行33B模型最少32G内存,支持多个开源模型包括Llama 3,Gemma 2,Code Llama等
2.Ollma部署实战
2.1.Ollama服务下载
下载命令如下:
curl -fsSL https://ollama.com/install.sh | sh

2.2.ollama服务启动
ollama serve

2.3.llama3服务运行
ollama run llama3
2.4 交互式问题测试
问题1.天为什么是蓝色的

问题2.如何保持健康

3.总结
Ollama能够帮助我们进行快速进行开源大模型的私有化部署,支持交互式的问答,让我们快速体验开源大模型的效果。大模型的部署不再受显卡大小的限制,只要有足够的内存,普通的电脑也可以部署,大大降低普通人使用开源大模型的门槛。

