Appearance
接了知识库,AI 为什么还是答错?
一个常见场景:公司把制度文档、产品手册一股脑接进 AI,第二天就有人来投诉——问它「报销上限是多少」,它答得头头是道,数字却是编的。文档明明都在库里,为什么还答错?
先要把一个误会拆开:大模型并不「记住」你的文档。它训练时学的是通用知识,你公司的报销制度,它一个字都没见过。让它答对只有两条路:一是把文档背下来,贵且慢;二是开卷考试——回答之前,先把相关的那几页翻出来,递到它面前。这第二条路,就是 RAG,检索增强生成。
RAG 分三步。第一步,切:把文档切成小段,每段用「嵌入模型」换算成一串数字,叫向量,存进向量库。向量可以理解成这段话的语义坐标,意思越近,坐标越近。第二步,找:用户的问题也换算成坐标,在库里找出坐标最近的几段。第三步,答:把找到的片段连同问题一起交给对话模型,让它照着材料回答。
关键在分工:找和答,是两个工种、两个模型。嵌入模型管找,对话模型管答,就像账房和总管不能混岗。云元升的账房最清楚:客人问「上个月水费多少」,先得有人去账本里把那一页找出来,再由他照着账本念。页找对了,念错了是他的问题;页找错了,他念得再流利,答案也是错的。
这正是多数 RAG 答错的真正原因:不是模型笨,是小抄递错了。切片切得太碎,一句话被拦腰斩断;嵌入模型中文不行,语义坐标画歪;或者只取最近的三段,关键的那段偏偏排第四。答的一方拿到错材料,只能一本正经地编——它甚至不知道材料是错的。
所以调 RAG 的顺序应该是:先查找,再怪答。把每次问答实际递给模型的片段调出来看一眼,十有八九,问题就写在那里。
最后补一条岔路:如果你的资料小而精,比如一个团队的核心档案,还有一种办法叫 LLM Wiki——不考试时现翻书,而是平时就把资料整理成一本结构清晰的手册,新知识随时编进去。翻书适合大仓库,编手册适合小家底。选哪条路,先看你的资料有多大。