概述

根据使用RAG技术构建企业级文档问答系统之基础流程中的RAG流程描述，有一个很重要步骤是从知识库中检索相关的文档片段，由于RAG是一个典型的串行流程，即先检索，再生成，因此，提升检索性能，通常可以提升RAG的效果。

针对RAG检索部分的优化，已经有不少优化手段，典型的有如下这些：

• Embedding模型优化

• 混合检索（BM25+Embedding）

• Multi Query

• RAG Fusion

• Hypothetical Document Embeddings（HyDE）

• Rerank

• …

从本文开始，会陆续覆盖这些优化方法，每次优化，会分别计算检索的命中率，和问答的准确率，以便大家直观地感受不同优化手段带来的性能提升。

检索的命中率，会根据《使用RAG技术构建企业级文档问答系统之基础流程》中介绍的HitRate，问答的准确率，使用《使用RAG技术构建企业级文档问答系统之使用GPT4进行评估》中介绍的方法评估，考虑到大家访问OpenAI的API可能不便，打分统一替换为Qwen2-72B-Instruct。

本文首先介绍Embedding模型优化。通常我们所使用的Embedding模型，由于要考虑到通用型，不会特别针对某个领域做专门的优化。针对Embedding模型的优化，主要有两个部分可以做：

• 对Embedding做二次预训练

• 对Embedding模型做微调

对Embedding做二次预训练通常不会有显著的效果提升，本文主要介绍对Embedding模型的微调。所选取的模型是BAAI/bge-large-zh-v1.5（HuggingFace中的模型ID），是BAAI（智源）开源的一个Embedding，这个基本上也是目前RAG中用得比较多的模型了，虽然BGE发布后陆续有新的模型不断刷新了榜单，但综合对比下来，BGE还是很能打的。

本文会介绍Embedding微调时，涉及的如下几点：

• 微调样本构建

• 微调脚本

• 训练过程监控：W&B监控

• 模型效果评估

本文优化后的模型评估效果见下表，可以看出，检索的HitRate，Embedding微调后的模型，都是显著优于Baseline（基础流程中介绍的方法）的，问答全流程，使用3个知识片段的Embedding微调后的模型进行检索，也取得了目前为止的最好效果

本文代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG

其中，样本构建代码为：

• build_embedding_sample_v1.ipynb

• build_embedding_sample_v2.ipynb：最终使用版本

微调脚本为：

• finetune_bge_embedding_v1.sh

• finetune_bge_embedding_v2.sh

• finetune_bge_embedding_v3.sh

• finetune_bge_embedding_v4.sh：最终使用版本

RAG全流程代码为：retrieval/01_bge_embedding_ft.ipynb

环境准备

Embedding模型的训练，虽然对机器的性能要求没有对训练LLM那么高，但也还是有一定要求的，GPU是需要的

硬件环境

本文所用硬件环境如下：

• CPU：i7-9700K

• 内存：64GB

• GPU：GTX 1080Ti（11G显存）

软件环境

软件环境列举主要的Python依赖：

• Python：3.10.9

• pytorch包：2.2.1

• FlagEmbedding包：1.2.10

模型训练

微调样本构建

微调样本的构建过程，其实就是找出跟一个query相似的句子——正样本，以及不相似的句子——负样本，Embedding在微调时，会使用对比学习loss来让模型提高辨别正负样本的能力。

此处只展示核心代码，完整代码可以访问代码仓库

 (df, neg_batch_size=-, n_neg_batch=):               tqdm           data = []   idx, row  tqdm(df.iterrows(), total=(df)):          question = row[]          answer = row[]            neg_samples = df[df[] != question][].values.tolist()          neg_batch_count = math.ceil(((df) - ) / neg_batch_size)          neg_batch_count = (n_neg_batch, neg_batch_count)   neg_batch_idx  (neg_batch_count):              batch_neg_samples = neg_samples[neg_batch_idx * neg_batch_size: (neg_batch_idx + ) * neg_batch_size]              batch_neg_samples = [item  item  batch_neg_samples  item != answer]              data.append({  : question,  : [answer],  : batch_neg_samples              })   data     (samples, save_filename):        (save_filename, )  f:   sample  samples:              f.write(json.dumps(sample, ensure_ascii=))              f.write()

其中df样例如下：

build_qa_samples函数的返回结果样例如下：

{: ,  : [],  : [,  ,  ,  ,  ,  ,  ,  ,  ,  ,  ,  ,  ,  ,  ,  ]}

微调脚本

此处原始参考文档来自BGE官方仓库：https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune

构造好微调样本后，就可以开始微调模型了。代码仓库中包含了4个版本的微调脚本，总体大同小异，此处以finetune_bge_embedding_v4.sh为例

    =  dirname ;    =/work/cache/env/miniconda3/bin:       =outputs/v1_20240713/emb_samples_qd_v2.jsonl     =   =     =   =   =   =expr          =ft_v4_bge_large_epoch__bz__trgrp__date +       =RAG-From-Scratch-Embedding-Finetune   =替换为自己的W&B key   =     =experiments/embedding/finetune/     [ ! -d  ];       mkdir -p         torchrun --nproc_per_node    -m FlagEmbedding.baai_general_embedding.finetune.run   --output_dir    --model_name_or_path /DataScience/HuggingFace/Models/BAAI/bge-large-zh-v1.5   --train_data    --learning_rate 1e-5   --fp16   --num_train_epochs    --per_device_train_batch_size    --gradient_accumulation_steps    --dataloader_drop_last True   --normlized True   --temperature .02   --query_max_len    --passage_max_len    --train_group_size    --negatives_cross_device   --logging_steps    --save_steps    --save_total_limit    --warmup_ratio .05   --lr_scheduler_type cosine   --query_instruction_for_retrieval       cp

启动微调：

bash finetune_bge_embedding_v4.sh

微调后的模型已经上传HuggingFace，大家可以搜索这个模型ID使用：stevenluo/bge-large-zh-v1.5-ft-v4

模型监控

4个版本的完整训练过程监控，可以访问下方的链接查看：

https://wandb.ai/steven-luog/RAG-From-Scratch-Embedding-Finetune/reports/MasteringRAG-Embedding-Finetune–Vmlldzo5MDA3Mjg1?accessToken=vnwdand2uzh1v5wfgv16vtb5rgk1chng81hj8tc7c4gy8lxmo15xwa0xblh9mrrc

以下是截图：

小结

上文介绍过，微调样本需要准备query或者question，正样本列表，负样本列表，query自然是用户问题（下面“-”前面的Q），根据正负样本的来源（下面“-”后面的部分），通常可以分为如下几种：

• Q-Q（question-question）：这种方式适合已经积累了比较多FAQ的企业，希望对用户问题检索FAQ库中的Q，这种情况下，使用Q-Q方式构建的样本，优化的模型检索效果会比较好

• Q-A（question-answer）：这种方式比较有误导性，看起来感觉最应该用这种方式构建，但实际上线后，要检索的，是一堆documents，而不是answer，如果你真的用这个方式构建过样本，看一些case就会发现，answer跟实际的文档相差非常远，导致模型微调后，性能反而出现下降

• Q-D（question-document）：这种方式，在几个项目中实践下来，基本上是最适合的构建方式，因为实际检索时，就是拿问题去检索文档，确保训练、推理时任务的一致性，也是减少模型性能损失最主要的一个方法

模型使用

模型的使用方式，与使用RAG技术构建企业级文档问答系统之基础流程中介绍的完全一致，只是替换模型路径model_path即可

   HuggingFaceBgeEmbeddings       device =   torch.cuda.is_available()      model_path =   embeddings = HuggingFaceBgeEmbeddings(      model_name=model_path,      model_kwargs={: device},      encode_kwargs={: },      query_instruction=  )

其余流程与基础流程一致，性能对比的部分大家可以参考代码仓库。