paper：https://arxiv.org/pdf/2212.10496
code：https://github.com/texttron/hyde
这篇文章主要做zero-shot场景下的稠密检索，通过借助LLM的力量不需要Relevance Labels，开箱即用。作者提出Hypothetical Document Embeddings (HyDE)方法，即“假设”文档嵌入。具体的做法是通过GPT生成虚构的文档，并使用无监督检索器对其进行编码，并在其嵌入空间中进行搜索，从而不需要任何人工标注数据。
模型结构如下图所示，HyDE将密集检索分解为两个任务，即 instruction-following的LM生成任务和对比编码器执行的文档相似性任务。
-
首先生成一个问题的答案对于给定一个query，将由InstructGPT生成一个能回答该query的假设文档，即a hypothetical document。
-
使用生成的答案进行检索：使用无监督的稠密检索模型（Contriever）把该文档表示为稠密向量。
-
最后基于最近邻从语料库中找到相似的文档，作为支撑信息然后进行问答。
实现
https://github.com/gomate-community/GoMate/blob/main/gomate/modules/rewriter/hyde_rewriter.py
import pandas as pd
from tqdm import tqdm
import os
from gomate.modules.generator.llm import GLMChat
from gomate.modules.retrieval.dense_retriever import DenseRetriever, DenseRetrieverConfig
from gomate.modules.rewriter.base import BaseRewriter
from gomate.modules.rewriter.promptor import Promptor
from gomate.modules.document.common_parser import CommonParser
class HydeRewriter(BaseRewriter):
def __init__(self, promptor, generator, retriever):
self.promptor = promptor
self.generator = generator
self.retriever = retriever
def prompt(self, query):
return self.promptor.build_prompt(query)
def rewrite(self, query):
prompt = self.promptor.build_prompt(query)
hypothesis_document, _ = self.generator.chat(prompt, llm_only=True)
return hypothesis_document
def retrieve(self, query, top_k=5):
hypothesis_document = self.rewrite(query)
hits = self.retriever.retrieve(hypothesis_document, top_k=top_k)
return {'hypothesis_document': hypothesis_document, 'retrieve_result': hits}
检索效果对比：
