知识库回答不准,调优从哪下手
多数团队给知识库调优的第一步就做反了:回答不准,先换模型。其实八成问题不在模型,在语料和检索。正确顺序是先定位、再动语料,最后才考虑换工具换模型——顺序一反,钱花了,问题还在。
一、先定位:是没找到,还是没说对
把答错的问题逐条拆开,失败原因通常落在两类:
- 没找到:相关资料其实在库里,但检索没召回——问题措辞和资料用词差太远,或者文档切分把答案切碎了;
- 没说对:召回的资料是对的,但资料本身过时、矛盾,或者模型组织答案时跑偏。
两类问题的解法完全不同,混在一起调,等于蒙着眼拧螺丝。
二、语料切片:把长文档切对
整份几十页的文档直接入库,检索时容易命中整篇,答案却淹没在长文里。更好的做法是按问题的粒度切片:一段讲清一件事,带完整上下文。制度类文档按条款切,产品文档按功能点切,FAQ本身就天然是现成的切片。
切完自测一遍:随便抽一个切片,不看标题,能不能看懂它在讲什么。看不懂的切片,用户的问题也匹配不上它。
三、召回测试:拿真实问题跑批
建一套真实问题测试集——从用户实际提问里来,不是自己编的。每次调整切片方式、同义词配置或语料增删之后,跑一遍测试集,看命中率的变化。评估指标怎么定,见怎么衡量AI知识库好不好用。
没有测试集的调优,是凭感觉开车:这次改了到底变好还是变坏,谁也说不清。
四、坏例回流:答错的问题变成养料
上线后用户问倒知识库的问题,是最有价值的语料线索。把坏例收集起来,每周清一次:缺语料的补写,语料含糊的重写,措辞差异大的在文档里补上用户的说法。坏例本的记录方法,见AI客服的知识库怎么搭建和维护。
调优不是一次性工程,是循环:定位、改语料、测试验证、收集新坏例。转起来的团队,知识库越用越准;不转的,几个月后回到解放前。
接下来可以做
- 从源头减少语料问题的整理方法,见企业知识库的资料整理方法论;
- 需要代做调优和效果评估的,可以了解兰林记AI知识库搭建服务。
延伸阅读:
有类似需求?免费获取方案与报价
顾问1对1解答,不收取咨询费;也可以先用免费工具自行测算。
