“搞企业知识库，RAG（检索增强生成），还有企业AI智能体现在很火啊”，某制造业老板问新来的AI工程师小王。
“好的，老板，没问题！这活儿我熟。” 小王就差拍胸脯领命而去。
画外音：“坐稳了，今天我，一个前脚刚踏进 RAG 门槛的工程师小王，就给你直播一下，我是如何从“AI 时代的弄潮儿”变成“知识库的搬砖工”，中间又经历了怎样惨绝人寰的一波三折。”
第一折：提示词工程师的春天，三行代码干翻老师傅
去年，风口来了。老板在全员会上，眼神发光，手舞足蹈，就差把“All in AI”刻在脑门上。核心议题：我们要搞自己的企业智能体-AI Agent，赋能全公司，第一步，就从内部知识库问答开始。
这活儿，砸我头上了。
我，小王，一个写了几年业务代码的工程师，当时心里乐开了花。这不就是我的天赐良机吗？什么 CRUD，什么屎山代码，都拜拜了。我要拥抱大模型，我要成为提示词-Prompt 大师，我简历上金灿灿的“主导公司级智能体 AI Agent 构建”已经开始发光了。
RAG？我熟啊！上周末刚在 B 站刷了三个教程。
不就是 pip install langchain 吗？
不就是 from langchain.vectorstores import FAISS 吗？
不就是把一堆几百页的 PDF、Word 文档 load 进来，split 一下，然后塞进 OpenAI 的 embedding 接口，最后 faiss.save_local 吗？
我行云流水，一气呵成。不到半天，一个 Demo 诞生了。
我把产品经理拉过来，当着他的面，优雅地敲下问题：“介绍一下我们公司的‘星辰计划’。”
终端里，光标闪烁，仿佛在进行一场神圣的计算。很快，一段总结得像模像样的文字出现了。
产品经理的眼睛瞪得像铜铃：“卧槽，牛逼啊小王！这不比全文搜索好用一万倍？”
那一刻，我感觉自己就是硅谷归来的天选之子，左手 LangChain，右手 OpenAI，三行代码干翻了那些吭哧吭哧搞了一辈子搜索的老师傅。
我心想：RAG，就这？看来今年年终奖稳了。
第二折：AI Agent？不，是“人工智障”
Demo 惊艳了所有人，老板龙颜大悦，当即拍板：上！扩大知识库范围，给业务部门先用起来！
于是，我把公司几年来攒下的几千份文档，一股脑全丢了进去。HR 的规章制度、财务的报销流程、法务的合同模板、研发的技术文档……一个“超级大脑”眼看就要成型。
然后，噩梦开始了。
第一个用户是销售部的李姐： “小王，你这机器人不行啊。我问它‘三季度的销售激励政策’，它把去年的政策发我了，差点搞出事。”
-
我心里一惊： 怎么回事？查了半天，发现新旧两版政策文档都在库里，嵌入Embedding 向量空间里，它俩挨得跟亲兄弟似的，机器人随便就捞了一个。
第二个用户是财务部的小张： “王哥，我问‘差旅报销单里，交通费那栏最高能填多少？’，它回答‘详情请见附件’。附件呢？它给我生成了一句'[附件]’。”
-
我头皮发麻： 这是 Chunk 切片的锅！PDF 里的表格被无情地按固定长度切碎了，关键信息和上下文直接分离，机器人只检索到了半句话。
第三个用户是新来的实习生： “王哥，我问‘公司茶水间有咖啡机吗？’，它说‘根据我的知识，公司致力于为员工提供最好的办公环境，包括但不限于符合人体工学的座椅、无限畅饮的进口咖啡和专业健身房’。”
-
我彻底崩溃： 咱们这十几个人的小破公司哪有健身房！这孙子，在知识库里找不到答案，居然一本正经地开始“胡说八道”了！这就是传说中的“幻觉”？
原本交口称赞的群里，渐渐变成了大型吐槽现场。我的 AI Agent，成了人尽皆知的“人工智障”。
老板把我叫到办公室，指着屏幕上一句驴唇不对马嘴的回答，虽然没说话，但那眼神分明在问：“我 All in 的 AI，就这？”
我脸上的微笑，比我的代码还要僵硬。
第三折：被RAG检索大佬按在地上摩擦，才知RAG的“苦”
我意识到，事情没那么简单。我开始疯狂查资料，混迹于各种技术社区，直到我遇到了我们公司那位传说中从大厂搜索推荐部门挖来的算法大佬，老李。
我揣着我的“智障”机器人，毕恭毕敬地向他请教。
老李瞥了一眼我的代码，喝了口枸杞茶，然后开始了他的“灵魂拷问”：
“Chunk 切片怎么切的？ 固定长度？你当这是切黄瓜吗？一份合同的条款和一份技术文档的代码，能用一个切法？语义相关的上下文怎么保留？标题层级考虑了吗？表格呢？图片呢？”
“Embedding 嵌入模型怎么选的？ 就用 OpenAI 的通用模型？它认识咱们公司项目的黑话吗？‘苍穹系统’和‘盘古平台’在它眼里是不是就是俩神话故事？MTEB 评测榜看过吗？针对咱们业务的评测集建了吗？维度和性能的平衡考虑过吗？”
“检索就一个向量召回？ BM25（注：一个概率信息检索模型） 这种基于关键词的土炮有时候比你那花里胡哨的向量管用，知道不？混合搜索Hybrid Search 做没做？两路结果怎么融合？RRF 了解一下？”
“Rerank 呢？ 召回一百条，难免有凑数的。不加个 Cross-Encoder 精排一下，把最相关的那几条顶上来，你指望 LLM 在一堆垃圾里给你淘金？”
“Prompt 是你自己写的？ 你这是在下指令，还是在跟它聊天？‘如果找不到答案，请明确说不知道’这条救命的指令写了吗？‘Lost in the Middle’问题知道吗？你辛辛苦苦 Rerank 出来的第一名，是放在 Prompt 的最前面还是最后面？”
“最关键的，评测呢？ 你的命中率Hit Rate 多少？回答相关性Answer Relevancy 和置信度 Faithfulness 怎么量化？没有评测，你刚才说的那些优化，方向在哪？凭感觉吗？你感觉你行，你问问机器人它感觉它行不行？”
老李的每一句话，都像一个耳光，扇在我这个“AI 弄潮儿”的脸上。
我这才恍然大悟。
RAG 的前半段，根本不是什么简单的向量化，而是推荐系统那套召回、粗排、精排的血泪史，每一步都是精细的实验和权衡。
RAG 的后半段，更不是简单的 API 调用，而是与一个“强大但有点傻”的“外星大脑”斗智斗勇的艺术，你要当它的老师、翻译、甚至心理医生。
我之前那套，充其量算是在水上乐园里搭了个积木船。而真正的 RAG，是在马里亚纳海沟里造一艘深潜器。
现在，我再也不提“三行代码搞定 AI”了。我的日常变成了：设计 Chunk 策略、标数据、Finetune Embedding 模型、搭自动化评测流水线、对着 Prompt 咬文嚼字……
谁再跟我说做知识库做 RAG 简单，我只想把那本三百页的《公司五年战略规划》PDF 塞他嘴里，温柔地对他说：
“来，你先给我 chunk 一下。”
画外音：“企业知识库、RAG，把企业知识喂给大模型做AI agent，提升企业应用智能，还是要找在细分行业摸爬滚打踩过几年坑的专业公司啊！”
#AI智能体 #企业AI智能体 #人工智能 #DataAgent #程序员就业 #RAG #切片 #提示词工程
