1 概述

Step-Back Prompting是Google DeepMind团队在论文Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models中提出的一种Prompt技术。

跟CoT要解决的问题类似，本质上都是In-Context Learning，区别在于CoT是让LLM将求解步骤分开，不要一次输出所有结果，但对于一些复杂的数理问题，如果不知道要用什么理论、公式去解决，即使一步步求解也依然无法获得正确的答案，这就是Take a Step Back这篇论文提出的动机，它通过Prompt让LLM“退后一步”，不要直接尝试解决问题，而是思考解决这个问题更高层次、更抽象的问题是什么。

例如论文中所举的例子：“理想气体的压强P，如果温度增加2倍，体积增加8倍会发生什么变化?”，即使使用CoT，LLM也依然无法回答正确，但使用Step-Back Prompting，让LLM先回忆出来理想气体公式，然后让LLM应用这个公式，问题得到顺利解决。又比如“埃斯特拉·利奥波德在1954年8月至1954年11月期间就读于哪所学校?”，这种问题在RAG中直接检索的话，很可能无法检索到正确的知识片段，但如果换成一个更抽象的问题：“埃斯特拉·利奥波德的教育历史是什么”则很有可能检索到正确片段从而正确回答问题。

作者在SituatedQA这样的文档问答QA数据集上也进行了测试，效果领先于未使用Step-Back Prompting的同类模型。

2 效果对比

虽然从理论上讲，Step-Back Prompting有其合理性，但在不同场景中效果可能未必有论文中那么好，下面是在本系列文章所构建的测试集中测试的结果，基本上是各种方法中最差的，当然这也并不能说明这个方法无效，只能说明在当前场景下它不是一个有效的优化方法。

3 核心代码

完整代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/retrieval/08_step_back_prompting.ipynb

下面核心讲解借助Step Back Prompting进行检索的chain，大致可以分为三个部分：Prompt构建、生成更抽象的问题、检索。

用于生成更抽象问题的Prompt构建：

   FewShotChatMessagePromptTemplate, ChatPromptTemplate    examples = [      {  : ,  : ,      },      {  : ,  : ,      }  ]    example_prompt = ChatPromptTemplate.from_messages(      [          (, ),          (, )      ]  )  few_shot_prompt = FewShotChatMessagePromptTemplate(      example_prompt=example_prompt,      examples=examples  )  prompt = ChatPromptTemplate.from_messages([      (  ,        ),      few_shot_prompt,      (, )  ])

生成更抽象问题的Chain：

step_back_query_gen = (      prompt      | llm      | ( ai_msg: ai_msg.content)      | ( x: x.replace(, ).replace(, ).strip()  x.lower().startswith()  x)  )

试用一下：

step_back_query_gen.invoke({: })

结果：

什么是影响个人贷款违约率的主要因素？

完整的检索chain：

   HuggingFaceBgeEmbeddings     Chroma    model_path =   embeddings = HuggingFaceBgeEmbeddings(      model_name=model_path,      model_kwargs={: device},      encode_kwargs={: },      query_instruction=  )    vector_db = Chroma.from_documents(      splitted_docs,      embedding=embeddings,      persist_directory=persist_directory  )  retrieve_chain = (      step_back_query_gen      | ( x: vector_db.similarity_search(x, k=top_k))  )    retrieve_chain.invoke()