核心速览
研究背景
- 研究问题
：这篇文章要解决的问题是如何在特定领域（如数据库和电气工程）中构建一个高效且准确的问答系统。现有的检索增强生成（RAG）框架虽然在上下文召回方面有所改进，但在整合异构数据和保持推理一致性方面存在挑战。 - 研究难点
：该问题的研究难点包括：捕捉技术手册和多模态资源中实体之间的复杂关系、手动构建和维护高质量的领域特定知识图谱、以及在生成过程中减少事实错误。 - 相关工作
：该问题的研究相关工作有：早期基于规则的方法、集成结构化知识的先进方法、大型语言模型（LLMs）在通用领域的应用、以及RAG框架在提高事实一致性的应用。然而，现有方法在处理特定领域的复杂查询时仍存在局限性。
研究方法
这篇论文提出了DO-RAG，一种用于特定领域问答的框架，通过知识图谱增强的检索和生成来解决现有方法的不足。具体来说，
-
多级知识图谱构建：首先，设计并实现了一个分层的代理提取管道，处理文本、表格、代码片段和图像，自动构建和更新一个知识图谱，捕捉实体、关系和属性。
-
混合检索融合：开发了一种统一的机制，在查询时将图遍历与语义搜索相结合，确保所有相关的、结构化的信息都能通知大型语言模型（LLM）的提示。
-
基于事实的幻觉缓解：引入了一个生成后的细化步骤，将初始LLM输出与知识图谱进行交叉验证，并迭代纠正不一致性，显著减少事实错误。
-
模块化设计：框架支持多种LLMs和检索模块的无缝组件交换和直接扩展到新领域，无需重新训练。
实验设计
为了评估DO-RAG框架，选择了SunDB（分布式关系数据库管理系统）作为专业领域。实验设计包括以下几个方面：
- 硬件和软件
：实验在一台配备64GB RAM、NVIDIA A100 80GB GPU和1TB硬盘的高性能Ubuntu工作站上进行。实验软件包括Lang-Fuse、Redis、MinIO和ClickHouse等。 - 数据集
：使用了两个数据集进行评估：主要的SunDB数据集和次要的Electrical数据集。每个数据集包括245个专家策划的问题及其真实答案，并标注了来源位置以便精确验证。 - 指标和工具
：评估聚焦于四个核心指标：答案相关性（AR）、上下文召回率（CR）、上下文精确度（CP）和忠实度（F）。这些指标使用RAGAS、DeepEval和Lang-Fuse进行计算。 - 基线比较
：外部基线比较包括FastGPT、TiDB.AI和dify.AI；内部基线比较则对比了有无知识图谱集成的DeepSeek-R1和DeepSeek-V3。
结果与分析
-
外部基线比较：在测试的语言模型中，SunDB.AI在所有基线中表现最佳，比FastGPT、TiDB.AI和Dify.AI分别提高了1.70%、24.02%和17.72%。
-
内部基线比较：知识图谱集成对DeepSeek-R1和DeepSeek-V3的影响显著。集成知识图谱后，两者的上下文召回率均达到1.000，DeepSeek-V3的答案相关性和上下文精确度分别提高了5.7%和2.6%。
-
领域特定性能：在SunDB和Electrical领域中，上下文召回率值均达到或接近1.0。答案相关性、上下文精确度和忠实度的变化揭示了模型之间的特定优势。
总体结论
这篇论文介绍了DO-RAG，一种用于特定领域问答的检索增强生成框架。DO-RAG通过代理链式思维提取管道将非结构化的多模态领域数据转换为动态的多级知识图谱，并将图遍历与语义向量搜索相结合以检索丰富的上下文信息。生成后的细化步骤进一步增强了事实准确性。在数据库和电气工程领域的实证结果表明，DO-RAG在上下文召回率和答案相关性方面表现出色，比现有基线框架提高了高达33.38%。这些发现展示了DO-RAG在特定领域中提供稳健、高精度问答的有效性，统一了结构化知识表示和生成推理，为可扩展和自适应的信息系统提供了可靠的基础。
论文评价
优点与创新
- 多阶段知识图谱构建
：设计并实现了一个分层的、基于代理的提取管道，能够自动构建和更新一个捕捉实体、关系和属性的动态知识图谱。 - 混合检索融合
：开发了一种统一的机制，在查询时将图遍历与语义搜索相结合，确保所有相关的、结构化的信息都能通知大型语言模型（LLM）的提示。 - 基于事实的幻觉缓解
：引入了一个生成后细化步骤，通过将初始LLM输出与知识图谱交叉验证，迭代纠正不一致性，显著减少事实错误。 - 即插即用的模块化
：框架支持多种LLM和检索模块的无缝组件交换和直接扩展到新领域，无需重新训练。 - 高准确率
：在数据库和电气工程领域的专家策划基准测试中，DO-RAG实现了接近完美的上下文召回率和超过94%的答案相关性，比现有RAG平台高出高达33.38%。
不足与反思
- 对语言模型的依赖
：框架依赖于语言模型，尽管有知识图谱的基础，但创意模型如DeepSeek-R1偶尔会引入幻觉。 - 数据集限制
：每个领域的数据集仅限于245个问题，可能无法捕捉到罕见或边缘情况的查询，限制了泛化能力。 - 计算开销
：多代理提取和混合检索的计算开销虽然经过优化，但在大规模部署的实时更新中仍然显著。 - 未来的工作
：未来将专注于通过更严格的提示工程来增强幻觉缓解，优先事实一致性。扩展数据集以包括多样化和边缘情况的查询将提高鲁棒性。探索分布式处理和自适应缓存机制将增强可扩展性和减少延迟。
关键问题及回答
问题1：DO-RAG框架在知识图谱构建方面有哪些独特的设计？
DO-RAG框架设计了一个分层的代理提取管道，用于多级知识图谱的构建。具体来说，该管道包括四个专门化的代理，分别在不同的抽象层次上操作：
- 高层代理
：识别结构元素（如章节、节、段落）。 - 中层代理
：提取领域特定的实体，如系统组件、API和参数。 - 低层代理
：捕获细粒度的操作关系，如线程行为或错误传播。 - 协变量代理
：为现有节点附加属性（如默认值、性能影响）。
这种多层次的代理提取方法确保了知识图谱的动态构建和更新，能够捕捉到实体、关系和属性的多粒度信息，避免了冗余，并通过合成摘要节点来简化图谱结构。
问题2：DO-RAG框架如何结合图遍历和语义向量搜索来进行混合检索？
-
图遍历：用户提交问题后，DO-RAG首先使用基于LLM的意图分析器对问题进行结构化分解，生成子查询以指导从知识图谱中的检索。然后，它通过语义相似性检索相关节点，并进行多跳遍历以扩展检索范围，生成结构化的领域特定上下文。
-
语义向量搜索：将图遍历得到的上下文用于重写和消除歧义的问题，生成一个更具体和明确的查询。然后，这个查询被编码成一个密集向量，并用于从向量数据库中检索语义相似的文本块。
-
结果整合：最后，DO-RAG将所有相关信息源（原始用户查询、其重写版本、知识图谱上下文、检索到的文本块和用户交互历史）整合到一个统一的提示结构中，并传递给生成管道。
这种方法确保了所有相关的、结构化的信息都能通知大型语言模型（LLM）的提示，从而提高检索的准确性和生成的上下文丰富性。
问题3：DO-RAG框架在生成答案时如何进行基于事实的幻觉缓解？
DO-RAG框架引入了一个生成后的细化步骤，用于基于事实的幻觉缓解：
-
初始生成：首先，使用一个初始的提示指导LLM生成答案，同时明确避免不支持的内容。
-
细化提示：生成的答案通过一个细化提示进行重构和验证，确保答案的事实一致性和清晰度。
-
压缩阶段：细化后的答案通过一个压缩阶段进行调整，以确保答案的连贯性和简洁性。
-
后续问题生成：为了增强用户参与度和模拟专家指导，DO-RAG还根据细化后的答案生成后续问题。
此外，如果系统无法找到足够的证据，模型会返回“我不知道”，以保持可靠性并防止幻觉。这种细化步骤显著减少了事实错误，提高了答案的准确性和可靠性。
参考文献
-
Precina Health 如何使用GraphRAG 通过实时洞察彻底改变 2 型糖尿病护理
-
Graph RAG框架、基本工具和实际用例
-
OpenTCM：基于GraphRAG的传统中医药知识检索与诊断问答图谱增强大模型系统 – 香港中文大学
-
Agentic GraphRAG？” data-itemshowtype=”0″ linktype=”text” data-linktype=”2″>如何构建医疗健康等复杂场景下的Agentic GraphRAG？
-
MedRAG：利用知识图谱引导推理提升医疗Copilot的RAG能力 – 新加坡南洋理工等
-
基于GraphRAG的妊娠期糖尿病管理本地大模型
-
HyperGraphRAG：基于超图结构知识表示的新版GraphRAG – 北邮、安贞医院等
-
KnowNET：通过知识图谱集成大模型引导健康信息抽取
-
医疗保健知识图谱&大模型综述：资源、应用与前景-Emory，Michigan大学等
-
[2025最新综述解读]定制化大模型的GraphRAG – 香港理工&吉林大学等
-
[2025论文解读]基于知识图谱的思考：一种知识增强的泛癌症问答大模型框架 – 中科院&广州国家实验室等
-
[VLDB24 KG+LLM论文]利用多模态和知识图谱增强大模型以实现无幻觉的开放集物体识别 – 河海大学等
-
论文浅尝 | 从大型语言模型进行情境化提炼以完成知识图谱（ACL2024）
-
(88页)知识图谱增强大模型GraphRAG 2025年最新调研综述 – 密歇根大学、Adobe、Meta、亚马逊等
-
Stardog Voicebox智能体: 知识图谱&LLM双轮驱动、释放自动化的创造力
-
“大模型+知识图谱”双轮驱动的见解、技术和评估 – 英伟达的GraphRAG
-
大模型能自动创建高质量知识图谱吗？可行性及人机协同机制 – WhyHow.AI
-
GraphRAG和轻量级LightRAG技术及应用案例深度解析
-
微软GraphRAG框架演进之路及带来的一些思考
-
LazyGraphRAG:微软重磅推出高性价比下一代GraphRAG
-
提升大型语言模型结果：何时使用GraphRAG
-
微软GraphRAG最新动态：通过动态社区选择改善全球搜索
-
GraphRAG产业化应用落地挑战和探索：知易行难 – 企业大模型独角兽Glean实践之四
-
GraphRAG从研发到上线的挑战-硅谷企业级大模型知识库独角兽Glean系列之三
-
企业级知识库为什么要用GraphRAG – 硅谷企业级ChatGPT独角兽Glean系列之二
-
企业智能知识库企业Glean利用GraphRAG融资2.6亿美元
-
重磅 – 微软官宣正式在GitHub开源GraphRAG
-
开源GraphRAG解读：微软的人工智能驱动知识发现方法
-
GraphRAG工程落地成本详细解读和实例分析
-
GraphRAG类型、限制、案例、使用场景详细解析
-
引入GraphRAG的场景条件分析
-
不适用生成式人工智能的场景
-
知识图谱增强大模型GraphRAG全面综述解读 – 蚂蚁集团、北大、浙大、人大等
-
5个知识图谱KG和RAG系统的误解 — 构建和使用RAG原生图谱
-
OpenKG-SIG | SIGData兴趣组：利用大模型构建LLM需要的知识图谱
-
关于大模型和知识图谱、本体的一场讨论
-
什么时候(不)用GraphRAG
-
GraphRAG工程落地成本详细解读和实例分析
-
Structured-GraphRAG知识增强框架——足球游戏数据案例研究
-
StructRAG: 下一代GraphRAG – 中科院&阿里
-
KG RAG vs. Vector RAG：基准测试、优化杠杆和财务分析示例 – WhyHow.AI实践
-
知识图谱增强RAG流水线Use Case-WhyHow.AI
-
“大模型+知识图谱”双轮驱动的医药数智化转型新范式-OpenKG TOC专家谈
-
知识图谱(KG)和大模型(LLMs)双轮驱动的企业级AI平台构建之道
