前几天发表一篇文章到底是用RAG还是大模型微调，你只需要看这几点，有位读者朋友觉得创业公司搞RAG是自欺欺人，这观点我不太赞同。我认为，RAG的效果不见得比微调差，而且真正使用RAG的公司要远远多于大模型微调。
RAG最大优势在于无论是在搭建部署方面还是在后期维护以及成本方面都非常有优势。对于中小企业来说，有这一点就足够！
如果你的RAG效果不好，那么大概率是你的RAG某一环节存在问题，需要调整。今天这篇文章，我就来跟大家聊聊使用RAG的几个关键点。
1、你是否用对了RAG引擎
目前市面上可选的RAG引擎很多，比如Coze、dify、FastGPT以及RAGFlow，不同的工具擅长的东西也不一样，但在精度和深度搜索方面，FastGPT和RAGFlow确实要比Coze和Dify要强一些。
如果你对知识库的精度有要求，那么强烈建议你用RAGFlow，因为它特别强调深度文档理解能力，能够精准地解析和提取 PDF、Word、Excel、PPT、TXT 等格式文档中的文本、表格、图表信息，并理解其内在结构和语义关系。同时它包含ElasticSearch这个组件，可以做到全文搜索。当然，这个组件在耗时以及耗资源方面也会明显增加。
2、文档质量是否有保证？
RAG能否给出高精准的答案，你的文档质量十分关键。第一，要确保知识来源权威、准确、全面。第二，避免单一、低质或过期的数据。第三，避免出现重复、冲突的数据。
必要时，你的文档需要做二次加工，比如，将重复无价值的信息剔除、人工校验文档的准确性，等等。
3、文档分块策略做对了吗？
文本如何切割直接影响检索命中率。大多数人在使用RAG时，为了省事直接按固定长度（比如1024字节）来分块，这样粗暴的固定长度分块大概率会割裂语义，从而导致个别问题的答案没办法获取。
所以，对于文档分块，最好是结合文档结构（标题、段落）、语义边界（主题句）及下游任务需求，采用递归分块、语义敏感分块或基于嵌入相似度的自适应分块策略。
有的RAG引擎（如FastGPT或者RAGFlow）是支持自动生成问题的，然后根据问题来分块，这个就类似于微调中的数据集，效果会更好。而且生成的这些问题还能手动进行编辑，从而让精准度进一步提升。
4、是否开启了重排序Rerank
几乎所有的RAG引擎都支持Rerank能力，它的目的是将已筛选文档片段重新排序，把最精准的片段排在最前面。这相当于是把答案重新做一次筛选，从而保证RAG的生成内容更加精准。
同时，Rerank也需要一个独立的大模型来作为支撑，这个模型你选的不好，效果也不见得如意。如果想省事，直接使用bge-reranker系列，如果觉得效果还不好，那就基于特定模型做微调。比如，基于Qwen3系列模型+重排序相关数据集做特定微调。
5、你的提示词设计的是否合理
设计清晰的提示词（Prompt）引导模型聚焦于检索依据进行回答，如：“请严格基于以下检索到的信息进行回答：…”。
另外为了避免产生幻觉，在Prompt中明确要求模型“基于给定信息回答，若信息不足则诚实告知‘根据已知信息无法回答’”，并可在后处理中加入事实一致性校验模块。
RAG的优化并非一蹴而就，而是需要不断评估和调整的。要想你的RAG好用，就得持续评估其效果并针对性地去做调整。
最后介绍下我的大模型课：我的运维大模型课上线了，目前还是预售期，有很大优惠。AI越来越成熟了，大模型技术需求量也越来越多了，至少我觉得这个方向要比传统的后端开发、前端开发、测试、运维等方向的机会更大，而且一点都不卷！
扫码咨询优惠
