在构建 RAG 知识库时，PDF文档中的表格跨页现象是一个常见挑战。传统方法依赖复杂的逻辑来判断和合并表格，而更简单、高效的方案可以通过 chunk 的存储和上下文管理来解决。
两种表格合并算法
两种算法都基于版面识别判断法。
前提：正确识别版面并去除每页的页眉、页脚。
1. 合并后存储为一个chunk
判断当前页最后一个元素和下一页第一个元素的类型：
-
如果两者均为 表格 类型，则认为是跨页表格的延续。
-
将两页的表格合并成一个完整表格，存储为一个 chunk。
示例代码：
def merge_cross_page_tables(tables_per_page):merged_tables = []temp_table = Nonefor page_num, tables in enumerate(tables_per_page):for table in tables:if temp_table: # 上一页存在未合并的表格temp_table += table # 合并表格内容merged_tables.append({"page": page_num, "table": temp_table})temp_table = Noneelse:temp_table = tableif temp_table: # 表格延续至下一页continuereturn merged_tables
2. 基于分块与描述同步法（推荐）
将跨页表格的两部分分别提取，并生成独立的 chunk，一般第一个表格的描述信息就是第二页表格的描述信息，需要特殊处理就可以实现跨页。
-
前一页：表格 X（第1部分）
-
下一页：表格 X（延续部分），前页描述：表格 X（第1部分）
这种方法无需实时合并表格，通过 LLM 在检索时合并上下文中的表格 chunk，完美解决跨页问题。
示例代码：
import pdfplumberdef extract_tables_as_chunks(pdf_path):chunks = []prev_table_desc = ""table_counter = 1with pdfplumber.open(pdf_path) as pdf:for page_num, page in enumerate(pdf.pages):tables = page.extract_tables()for table in tables:if prev_table_desc:desc = f"表格 {table_counter}（延续部分），前页描述：{prev_table_desc}"prev_table_desc = "" # 重置描述else:desc = f"表格 {table_counter}（第1部分）"prev_table_desc = descchunk = {"description": desc, "data": table, "page": page_num + 1}chunks.append(chunk)table_counter += 1return chunks
两种方案的对比
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
RAG 系统中的应用
存储：将跨页表格分为多个 chunk 存储，确保数据完整。
检索：用户查询时，RAG 系统会同时检索到表格的多个 chunk。
生成：LLM 根据表格的描述和数据自动合并，输出完整表格内容。
优势总结
-
无需复杂合并逻辑：分块与描述法实现简单，逻辑清晰。
-
上下文管理优异：LLM 自然合并表格内容，生成高质量输出。 -
高效处理跨页表格：解决了表格拆分与合并难题，极大提升知识库构建效率。
