前几天发表一篇文章到底是用RAG还是大模型微调,你只需要看这几点,有位读者朋友觉得创业公司搞RAG是自欺欺人,这观点我不太赞同。我认为,RAG的效果不见得比微调差,而且真正使用RAG的公司要远远多于大模型微调。

我在没有深入研究RAG之前,也是觉得微调效果一定会比RAG好,其实并非如此。RAG用好了,效果要比微调好得多。关键是RAG无论是在搭建还是在后期维护以及成本方面都非常有优势。
对于中小企业来说,使用RAG的场景要远远高于大模型微调。如果你的RAG效果不好,那么大概率是你的RAG某一环节存在问题,需要调整。今天这篇文章,我就来跟大家聊聊使用RAG的几个关键点。
1、你是否用对了RAG引擎
目前市面上可选的RAG引擎很多,比如Coze、dify、FastGPT以及RAGFlow,不同的工具擅长的东西也不一样,但在精度和深度搜索方面,FastGPT和RAGFlow确实要比Coze和Dify要强一些。
如果你对知识库的精度有要求,那么强烈建议你用RAGFlow,因为它特别强调深度文档理解能力,能够精准地解析和提取 PDF、Word、Excel、PPT、TXT 等格式文档中的文本、表格、图表信息,并理解其内在结构和语义关系。同时它包含ElasticSearch这个组件,可以做到全文搜索。当然,这个组件在耗时以及耗资源方面也会明显增加。
2、文档质量是否有保证?
RAG能否给出高精准的答案,你的文档质量十分关键。第一,要确保知识来源权威、准确、全面。第二,避免单一、低质或过期的数据。第三,避免出现重复、冲突的数据。
必要时,你的文档需要做二次加工,比如,将重复无价值的信息剔除、人工校验文档的准确性,等等。
3、文档分块策略做对了吗?
文本如何切割直接影响检索命中率。大多数人在使用RAG时,为了省事直接按固定长度(比如1024字节)来分块,这样粗暴的固定长度分块大概率会割裂语义,从而导致个别问题的答案没办法获取。
所以,对于文档分块,最好是结合文档结构(标题、段落)、语义边界(主题句)及下游任务需求,采用递归分块、语义敏感分块或基于嵌入相似度的自适应分块策略。
有的RAG引擎(如FastGPT或者RAGFlow)是支持自动生成问题的,然后根据问题来分块,这个就类似于微调中的数据集,效果会更好。而且生成的这些问题还能手动进行编辑,从而让精准度进一步提升。
4、是否开启了重排序Rerank
几乎所有的RAG引擎都支持Rerank能力,它的目的是将已筛选文档片段重新排序,把最精准的片段排在最前面。这相当于是把答案重新做一次筛选,从而保证RAG的生成内容更加精准。
同时,Rerank也需要一个独立的大模型来作为支撑,这个模型你选的不好,效果也不见得如意。如果想省事,直接使用bge-reranker系列,如果觉得效果还不好,那就基于特定模型做微调。比如,基于Qwen3系列模型+重排序相关数据集做特定微调。
5、你的提示词设计的是否合理
设计清晰的提示词(Prompt)引导模型聚焦于检索依据进行回答,如:“请严格基于以下检索到的信息进行回答:…”。
另外为了避免产生幻觉,在Prompt中明确要求模型“基于给定信息回答,若信息不足则诚实告知‘根据已知信息无法回答’”,并可在后处理中加入事实一致性校验模块。
RAG的优化并非一蹴而就,而是需要不断评估和调整的。要想你的RAG好用,就得持续评估其效果并针对性地去做调整。
最后介绍下我的大模型课:我的运维大模型课上线了,目前还是预售期,有很大优惠。AI越来越成熟了,大模型技术需求量也越来越多了,至少我觉得这个方向要比传统的后端开发、前端开发、测试、运维等方向的机会更大,而且一点都不卷!
扫码咨询优惠
