AnythingLLM[1] 是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有 ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。
支持 Mac, Windows, & Linux
AnythingLLM 核心功能
-
多用户实例支持和权限管理。 -
工作区内的智能体 Agent（浏览网页、运行代码等）。 -
支持多种文档类型（PDF、TXT、DOCX 等）。 -
支持聊天和查询模式：聊天模式保留先前的对话记录，查询模式则是是针对您的文档做简单问答。 -
聊天中会提供所引用的相应文档内容。 -
100% 云部署就绪，或 “部署你自己的 LLM 模型”。 -
管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding) 一个庞大的文档。比其他文档聊天机器人解决方案节省 90% 的成本。 -
全套的开发人员 API，用于自定义集成！
AnythingLLM 支持的 LLM
-
任何与 llama.cpp[2] 兼容的开源模型 -
OpenAI -
Azure OpenAI -
Anthropic -
Google Gemini Pro -
Hugging Face (聊天模型) -
Ollama (聊天模型) -
LM Studio (所有模型) -
LocalAi (所有模型) -
Together AI (聊天模型) -
Perplexity (聊天模型) -
OpenRouter (聊天模型) -
Mistral -
Groq -
Cohere -
KoboldCPP
AnythingLLM 支持的嵌入模型
-
AnythingLLM 原生嵌入器（默认） -
OpenAI -
Azure OpenAI -
LocalAi (全部) -
Ollama (全部) -
LM Studio (全部) -
Cohere
AnythingLLM 支持的转录模型
-
AnythingLLM内置（默认） -
OpenAI
AnythingLLM 支持的向量数据库
-
LanceDB （默认） -
Astra DB -
Pinecone -
Chroma -
Weaviate -
QDrant -
Milvus -
Zilliz
AnythingLLM 仓库介绍
仓库结构
AnythingLLM 仓库由三个主要部分组成：
-
frontend: 一个 viteJS + React 前端，您可以运行它来轻松创建和管理 LLM 可以使用的所有内容。 -
server: 一个 NodeJS Express 服务器，用于处理所有交互并进行所有向量数据库管理和 LLM 交互。 -
docker: Docker 指令和构建过程 + 从源代码构建的信息。 -
collector: NodeJS Express 服务器，用于从 UI 处理和解析文档。
仓库地址：https://github.com/Mintplex-Labs/anything-llm
配置开发环境
-
yarn setup：填充每个应用程序部分所需的 .env文件（从仓库的根目录）。 -
在开始下一步之前，先填写这些信息 server/.env.development，不然代码无法正常执行。 -
yarn dev:server：在本地启动服务器（从仓库的根目录）。 -
yarn dev:frontend：在本地启动前端（从仓库的根目录）。 -
yarn dev:collector：然后运行文档收集器（从仓库的根目录）。
