使用Ollama提供的Qwen2 7B搭建自己的中文版斯坦福多智能体AI小镇


以下第1、2部分内容可以不执行,只是介绍中文化所做的具体修改是什么

1 对角色身份、目标、Prompt中文化

1.1 人物身份、目标中文化

修改data/characters.ts将角色的identity和plan翻译成中文

1.2 回话、记忆引导Prompt中文化

convex/agent/memory.tsconvex/agent/conversation.ts中相关的Prompt翻译为中文

2 修改llm.ts

修改convex/util/llm.ts,将LLM和Embedding模型修改为对中文支持较好的模型使用Ollama提供的Qwen2 7B搭建自己的中文版斯坦福多智能体AI小镇

3 运行

更详细的步骤,请参考使用Ollama提供的Llama3 8B搭建自己的斯坦福多智能体AI小镇

3.1 准备ollama模型

ollama pull qwen2:7b  ollama pull znbang/bge:large-zh-v1.5-q8_0

3.2 下载代码并安装npm包

git clone git@github.com:Steven-Luo/ai-town-cn.git  cd ai-town-cn  npm install

3.3 启动convex后端

3.3.1 Linux系统

后续可能会使用just命令,可以在https://github.com/casey/just寻找对应Linux发行版的安装方法,以Ubuntu 24.04为例,安装命令为:

sudo apt install just

安装context,对于Linux系统,直接下载预编译版本,解压缩即可,下载地址在https://github.com/get-convex/convex-backend/releases。解压缩后,执行如下命令:

  unzip /Users/luogang/Downloads/convex-local-backend-x86_64-unknown-linux-gnu.zip    chmod +x convex-local-backend    ./convex-local-backend

3.3.2 macOS系统

以下代码为macOS平台

  curl  -L -O https://github.com/get-convex/convex-backend/releases/latest/download/convex-local-backend-aarch64-apple-darwin.zip  unzip convex-local-backend-aarch64-apple-darwin.zip    brew install just      ./convex-local-backend

注意,执行后续命令时,需要确保convex-local-backend处于运行状态

3.4 清理之前的数据

如果是第一次运行,则不需要执行3.4这一步

just convex run testing:wipeAllTables

创建一个全新的世界

just convex run init

3.5 启动服务

设置背景音乐,创建一个Replicate (https://replicate.com/)账户,并在API Token页面创建一个token,下面这条命令可选

just convex env  REPLICATE_API_TOKEN <替换为自己的token>

启动前后端

npm run dev

如果需要监听所有网络,修改package.json文件,将dev:frontend的值,由vite 修改为vite --host,如下图所示

4 效果

4.1 Alex

Alex的人设和目标如下所示

{              }

从他与其他角色的对话可以发现,提到了《星际之门》,这是非常有名的一部科幻小说

使用Ollama提供的Qwen2 7B搭建自己的中文版斯坦福多智能体AI小镇

4.2 Stella

Stella的人设如下

{              }

从下方的聊天记录可以看出,已经有了一点PUA的味道

使用Ollama提供的Qwen2 7B搭建自己的中文版斯坦福多智能体AI小镇

4.3 Alice和Kurt

Alice的人设和计划如下:

{              }

Kurt的人设和计划如下:

{              }

从二人的对话如下:使用Ollama提供的Qwen2 7B搭建自己的中文版斯坦福多智能体AI小镇

从对话可以看出,AI、量子物理这些也的确是这两个角色的人设该聊的内容

前沿技术新闻资讯

两大巨头的AI竞争|对比Apple Intelligence和Microsoft Copilot架构

2025-1-4 23:22:31

前沿技术新闻资讯

🥇 国产荣耀!Qwen2-72B荣登开源LLM榜首,AI领域新里程碑!

2025-1-5 17:04:19

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索