基于ChatGLM+M3E+FastGPT打造本地化焊接知识库

最近看FastGPT挺火的，于是本地部署了一个，主要用于搭建焊接知识库，感觉效果还不错。

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，是一个典型的RAG项目，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

• 首先准备好文档，把每个文档切成若干小的模块。

• 调用文本转向量的接口，将每个模块转为一个向量，并存入向量数据库。

• 当用户发来一个问题的时候，将问题同样转为向量，并检索向量数据库，得到相关性最高的一个模块。

• 将问题和检索结果合并重写为一个新的请求发给ChatGLM进行文档问答。

通过导入文档或已有问答对进行训练，让 AI 模型能根据你的文档以交互式对话方式回答问题。

FastGPT 采用直观的可视化界面设计，为各种应用场景提供了丰富实用的功能。通过简洁易懂的操作步骤，可以轻松完成 AI 客服的创建和训练流程。

提供手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入途径，其中“直接分段”支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。FastGPT 会自动对文本数据进行预处理、向量化和 QA 分割，节省手动训练时间，提升效能。

基于 Flow 模块的工作流编排，可以帮助你设计更加复杂的问答流程。例如查询数据库、查询库存、预约实验室等。

FastGPT 对外的 API 接口对齐了 OpenAI 官方接口，可以直接接入现有的 GPT 应用，也可以轻松集成到企业微信、公众号、飞书等平台。

登录https://fastgpt.in，可以进行在线试用。需要注册账号，然后免费额度为3元，3元以内，所有功能基本可以体验一遍。

如果需要正儿八经地干事，打造自己的专属、安全的知识库，还是得本地化部署。

主要需要部署chatglm大语言模型、m3e词向量模型，然后用docker部署fastGPT，之后可以将大模型与fastGPT直连，也可以用oneapi进行转接管理，跑通后效果如下：