1 概述

从本文开始，将开一个大坑，陆续介绍企业级文档问答系统构建的全流程，以及关键环节的优化手段。重点介绍算法流程。

构建一个基础版的RAG是非常简单的，甚至使用扣子、Dify等平台，熟练的情况下都用不了5分钟，即使使用Langchain、LlamaIndex等框架，搭建完整流程，代码也不会超过100行。但基础版的问答效果往往较差。

下面这张图是OpenAI介绍的RAG优化经验，这个准确率当然随不同的数据集会有不同，但基本上优化后的准确率比优化前有显著提升这个基本上是一致的。

问答系统构建完成后，总的流程是先对文档进行解析、切分，然后使用问题检索相关知识片段，最后将问题和知识片段输入LLM，生成答案。

在构建的过程中也是一样的，这三个环节是可以分别独立优化的，如下图所示：

本篇首先专注在如何获取QA数据，所谓的QA数据，就是“问题-回答”数据，理想情况下，如果包含回答所用到的文档片段是更好的。部分系统（如客服系统）是有这方面数据的，但绝大多数情况下是没有的，这时就需要首先构造一批问答数据，这是后续所有环节最重要的一步。

本系列将会使用中国银行所发布的《2024全球经济金融展望报告》作为文档，围绕针对这个文档的问答效果优化展开。

本文所介绍的方法，会使用千问官方的qwen-long模型，对《2024全球经济金融展望报告》这个文档抽取QA，这个模型足够便宜，抽取的结果质量也还不错。QA抽取包含如下3个步骤：

• 短文档片段QA抽取：这部分模拟日常情况下，经常会询问细节性问题的使用场景

• 长文档片段QA抽取：这部分模拟需要综合较多上下文才能回答的使用场景

• QA质量打分：使用LLM再次对抽取的QA进行质量评估，这一步算是借鉴了微软phi-1.5模型Textbooks Are All You Need论文中的方法，就是借助模型对数据质量进行评估

整个过程花费不到1元，结果已经抽取好了，大家可以直接使用。

本文所对应代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/00_PDF%E8%A7%A3%E6%9E%90%E4%B8%8EQA%E6%8A%BD%E5%8F%96_v1.ipynb

2 准备环境

代码在Google Colab环境下进行了测试，正常情况下，安装Anaconda基本上会包含大部分所用到的包，再安装如下包即可：

pip install langchain langchain_community pypdf openai

为了便于大家复现，打印所安装的版本：

 , , ,      module  (langchain, langchain_community, pypdf, openai):  ()

langchain           0.2.8  langchain_community 0.2.7  pypdf               4.3.0  openai              1.35.14

设置API key

     os.environ[] =   os.environ[] =

3 文档解析与切分

   PyPDFLoader     Document     RecursiveCharacterTextSplitter        uuid4     (documents, filepath, chunk_size=, chunk_overlap=, seperators=[, ], force_split=):   os.path.exists(filepath)   force_split:  ()   pickle.load((filepath, ))        splitter = RecursiveCharacterTextSplitter(          chunk_size=chunk_size,          chunk_overlap=chunk_overlap,          separators=seperators      )      split_docs = splitter.split_documents(documents)   chunk  split_docs:          chunk.metadata[] = (uuid4())        pickle.dump(split_docs, (filepath, ))     split_docs    loader = PyPDFLoader()  documents = loader.load()      pattern =   merged_docs = [Document(page_content=.join(re.sub(pattern, , doc.page_content)  doc  documents))]    splitted_docs = split_docs(documents, os.path.join(output_dir, ), chunk_size=, chunk_overlap=)  splitted_docs_large = split_docs(merged_docs, os.path.join(output_dir, ), chunk_size=, chunk_overlap=)  uuid2doc = {doc.metadata[]: doc.page_content  doc  splitted_docs}  uuid2large_doc = {doc.metadata[]: doc.page_content  doc  splitted_docs_large}

4 QA抽取

既然是构造QA，那最好是保留回答问题时所使用的上下文，方便后续环节的优化。

4.1 QA抽取Prompt

这一步核心的2个Prompt如下：

qa_gen_prompt_tmpl =                             {{document}}            qa_gen_prompt_tmpl_large_context =                 {{document}}

4.2 QA抽取代码

抽取核心代码，此处使用多线程加速抽取，考虑到网络请求异常情况会比较多，因此增加失败重试机制，同时考虑到这是一个耗时操作，并保存中间结果，以确保失败或者再次运行时，已经执行过的部分不会被重复执行：

   OpenAI                 tqdm       client = OpenAI(      api_key=os.environ[],      base_url=os.environ[]  )     (prompt_tmpl, text):      prompt = prompt_tmpl.replace(, text).strip()   prompt     (prompt, max_retry=, debug=, top_p=, temperature=):   (prompt):          completion = client.chat.completions.create(              model=,              messages=[                    {: , : prompt}              ],              top_p=top_p,              temperature=temperature          )   completion.choices[].message.content     max_retry > :  :   do_chat(prompt)     e:              max_retry -=               sleep_seconds = random.randint(, )   debug:  ()              time.sleep(sleep_seconds)          (splitted_docs, prompt_tmpl, qa_ckpt_filename):      qa_ckpt = {}   os.path.exists(qa_ckpt_filename):          qa_ckpt = (qa_ckpt_filename).readlines()          qa_ckpt = [json.loads(line.strip())  line  qa_ckpt  line.strip() != ]          qa_ckpt = {item[]: item  item  qa_ckpt}  ()        file_lock = threading.Lock()        max_workers =    concurrent.futures.ThreadPoolExecutor(max_workers=max_workers)  executor:          futures = {doc.metadata[]: executor.submit(chat, build_qa_prompt(prompt_tmpl, doc.page_content), , )  doc  splitted_docs  (doc.page_content.replace(, )) >=   doc.metadata[]   qa_ckpt}   uuid  tqdm(futures):              future = futures[uuid]              result = future.result()   result  :                  item = {: uuid, : result}              qa_ckpt[uuid] = item                  file_lock.acquire()    :   (qa_ckpt_filename, )  f:                      f.write(json.dumps(item, ensure_ascii=) + )     e:  (e)  :                  file_lock.release()   qa_ckpt      detailed_qa_dict = gen_qa(splitted_docs, qa_gen_prompt_tmpl, os.path.join(output_dir, ))    large_context_qa_dict = gen_qa(splitted_docs_large, qa_gen_prompt_tmpl_large_context, os.path.join(output_dir, ))

4.3 抽取样例

  [      {  : ,  : ,  :       },      {  : ,  : ,  :       },      {  : ,  : ,  :       },      {  : ,  : ,  :       },      {  : ,  : ,  :       },      {  : ,  : ,  :       },      {  : ,  : ,  :       },      {  : ,  : ,  :       }  ]

4.4 后置处理

从上面的样例可以看出，结果是被json...包裹的，没有办法直接解析为JSON，使用正则表达式进行后置处理，提取JSON

           (text):      pattern =         text = text.replace(, )  :   json.loads(text)  :          match = re.search(pattern, text, re.DOTALL)  :              matched = match.group()   json.loads(matched)     e:  ()     []     (qa_ckpt, uuid2doc_map):      data = []     key, value  tqdm(qa_ckpt.items()):          text = value[]          qa_list = convert2json(text)     item  qa_list:              question = item.get(, ).strip()              answer = item.get(, ).strip()              context = item.get(, ).strip()     question ==   answer == :  (qa_list)                data.append({  : key,  : question,  : answer,  : context,  : uuid2doc_map[key]              })      qa_df = pd.DataFrame(data)   qa_df    qa_df = build_qa_df(detailed_qa_dict, uuid2doc)  qa_df.drop_duplicates(, inplace=)  qa_df[] =   large_context_qa_df = build_qa_df(large_context_qa_dict, uuid2large_doc)  large_context_qa_df.drop_duplicates(, inplace=)  large_context_qa_df[] =     qa_df = pd.concat([qa_df, large_context_qa_df])

5 QA质量检查

这部分就是对qa_df中的问题-回答对，再打一次分，然后过滤低分结果，Prompt如下：

qa_check_prompt_tmpl =                       {{question}}          {{answer}}

总体又是一个循环，与QA抽取部分非常相似，此处不再粘贴代码，需要的朋友们请访问代码仓库。

5.1 打分结果样例

5.2 3分样例

• 问：报告中提到的主要经济体GDP增速变化趋势的图的名称是什么？

• 答：主要经济体GDP增速变化趋势

• 上下文：图2：主要经济体GDP增速变化趋势（%）

5.3 2分样例

• 问：消费者借贷能力和意愿受到什么因素的影响？

• 答：美国家庭债务余额拖欠率回升至3%

• 上下文：美国家庭债务余额拖欠率回升至3%，消费者借贷能力和意愿将有所下降。

可以看出，低分问答对，质量确实相对较低

5.4 最终数据集构建

这部分首先保留4分及以上的问答对，然后随机挑选100条数据作为后续的测试集。至此，准备工作完成。

hq_qa_df = qa_df[qa_df[] >= ]  test_q = hq_qa_df.sample(, replace=)[].values.tolist()  hq_qa_df[] =   hq_qa_df.loc[hq_qa_df[].isin(test_q), ] =     hq_qa_df.to_excel(os.path.join(output_dir, ), index=)