深度解析 PageIndex：无向量 RAG 框架的技术实现与原理剖析

⭐ GitHub 14K Stars |

 🔗 https://github.com/VectifyAI/PageIndex

📥 PDF 输入    ↓📑 Step 1: PDF 解析   提取每页文本，计算 token 数量    ↓📋 Step 2: 目录检测   扫描前 N 页，判断是否存在目录    ↓🌳 Step 3: 结构生成   ├── 有目录有页码 → 直接解析目录结构   ├── 有目录无页码 → LLM 匹配章节位置   └── 无目录 → LLM 从文本推断结构    ↓✅ Step 4: 标题验证   验证章节标题是否出现在对应页面    ↓🔧 Step 5: 后处理   生成树结构、节点 ID、摘要    ↓💾 Step 6: 输出 JSON

📥 Markdown 输入    ↓📖 Step 1: 读取文件   按行分割文档内容    ↓🔍 Step 2: 提取标题节点   正则匹配 # ~ ###### 标题   跳过代码块内的标题    ↓📝 Step 3: 提取节点文本   确定每个标题的文本范围   计算标题层级    ↓✂️ Step 4: 树瘦身 [可选]   合并过于细碎的节点    ↓🌳 Step 5: 构建树结构   根据层级关系建立父子关系    ↓📋 Step 6: 生成摘要   并发调用 LLM 生成节点摘要    ↓💾 Step 7: 输出 JSON

❓ 用户提问    ↓📂 Step 1: 加载文档结构   读取 JSON 结构文件   创建节点映射    ↓🔍 Step 2: 树搜索检索   ├── 构建节点摘要信息   ├── 构建检索 Prompt   ├── LLM 推理选择最相关节点   └── 解析返回的节点 ID    ↓📄 Step 3: 提取上下文   从选中节点提取完整文本    ↓💬 Step 4: 生成答案   基于上下文调用 LLM 生成答案    ↓✅ 输出结果

你是一个文档检索助手。根据问题，从以下节点中找出最可能包含答案的节点。
问题: {用户的问题}
可用节点:- 0001: 第一章 概述 - 本文档介绍了项目的整体背景和目标...- 0002: 第二章 技术方案 - 详细描述了系统架构和技术选型...- 0003: 第三章 实施计划 - 包含项目的时间节点和里程碑...
请只返回一个 JSON 数组，包含最相关的 node_id（最多3个）

{  "doc_name": "文档名称",  "structure": {    "title": "文档标题",    "node_id": "0000",    "summary": "节点摘要",    "text": "节点文本内容",    "start_index": 1,    "end_index": 10,    "nodes": [      {        "title": "第一章",        "node_id": "0001",        "summary": "章节摘要",        "nodes": [...]      }    ]  }}

python run_pageindex.py --pdf_path ./documents/report.pdf     --model qwen3-max     --if-add-node-summary yes

python run_pageindex.py --md_path ./documents/readme.md     --model qwen3-max     --if-thinning yes

ounter(lineounter(lineounter(linepython pageindex_rag_simple.py     --structure ./results/doc_structure.json     --query "文档主要内容是什么？"