前几天发表一篇文章到底是用RAG还是大模型微调，你只需要看这几点，有位读者朋友觉得创业公司搞RAG是自欺欺人，这观点我不太赞同。我认为，RAG的效果不见得比微调差，而且真正使用RAG的公司要远远多于大模型微调。
我在没有深入研究RAG之前，也是觉得微调效果一定会比RAG好，其实并非如此。RAG用好了，效果要比微调好得多。关键是RAG无论是在搭建还是在后期维护以及成本方面都非常有优势。
对于中小企业来说，使用RAG的场景要远远高于大模型微调。如果你的RAG效果不好，那么大概率是你的RAG某一环节存在问题，需要调整。今天这篇文章，我就来跟大家聊聊使用RAG的几个关键点。
1、你是否用对了RAG引擎
目前市面上可选的RAG引擎很多，比如Coze、dify、FastGPT以及RAGFlow，不同的工具擅长的东西也不一样，但在精度和深度搜索方面，FastGPT和RAGFlow确实要比Coze和Dify要强一些。
如果你对知识库的精度有要求，那么强烈建议你用RAGFlow，因为它特别强调深度文档理解能力，能够精准地解析和提取 PDF、Word、Excel、PPT、TXT 等格式文档中的文本、表格、图表信息，并理解其内在结构和语义关系。同时它包含ElasticSearch这个组件，可以做到全文搜索。当然，这个组件在耗时以及耗资源方面也会明显增加。
2、文档质量是否有保证？
RAG能否给出高精准的答案，你的文档质量十分关键。第一，要确保知识来源权威、准确、全面。第二，避免单一、低质或过期的数据。第三，避免出现重复、冲突的数据。
必要时，你的文档需要做二次加工，比如，将重复无价值的信息剔除、人工校验文档的准确性，等等。
3、文档分块策略做对了吗？
文本如何切割直接影响检索命中率。大多数人在使用RAG时，为了省事直接按固定长度（比如1024字节）来分块，这样粗暴的固定长度分块大概率会割裂语义，从而导致个别问题的答案没办法获取。
所以，对于文档分块，最好是结合文档结构（标题、段落）、语义边界（主题句）及下游任务需求，采用递归分块、语义敏感分块或基于嵌入相似度的自适应分块策略。
有的RAG引擎（如FastGPT或者RAGFlow）是支持自动生成问题的，然后根据问题来分块，这个就类似于微调中的数据集，效果会更好。而且生成的这些问题还能手动进行编辑，从而让精准度进一步提升。
4、是否开启了重排序Rerank
几乎所有的RAG引擎都支持Rerank能力，它的目的是将已筛选文档片段重新排序，把最精准的片段排在最前面。这相当于是把答案重新做一次筛选，从而保证RAG的生成内容更加精准。
同时，Rerank也需要一个独立的大模型来作为支撑，这个模型你选的不好，效果也不见得如意。如果想省事，直接使用bge-reranker系列，如果觉得效果还不好，那就基于特定模型做微调。比如，基于Qwen3系列模型+重排序相关数据集做特定微调。
5、你的提示词设计的是否合理
设计清晰的提示词（Prompt）引导模型聚焦于检索依据进行回答，如：“请严格基于以下检索到的信息进行回答：…”。
另外为了避免产生幻觉，在Prompt中明确要求模型“基于给定信息回答，若信息不足则诚实告知‘根据已知信息无法回答’”，并可在后处理中加入事实一致性校验模块。
RAG的优化并非一蹴而就，而是需要不断评估和调整的。要想你的RAG好用，就得持续评估其效果并针对性地去做调整。
最后介绍下我的大模型课：我的运维大模型课上线了，目前还是预售期，有很大优惠。AI越来越成熟了，大模型技术需求量也越来越多了，至少我觉得这个方向要比传统的后端开发、前端开发、测试、运维等方向的机会更大，而且一点都不卷！
扫码咨询优惠
