怎么衡量AI知识库好不好用
先说结论：衡量知识库好不好用，别靠“感觉它变聪明了”，用三个指标：命中率、转人工率、更新时效。三个数都能低成本拿到，比任何主观评价都诚实。
一、命中率：测试题集说话
上线前建一套测试题集：从业务同事那里收集真实问题，覆盖高频问题和边角问题，几十道题就够。每次知识库有大更新，跑一遍，记录答对的比例。
这个数字的意义在趋势：这周比上周高还是低，某次资料调整之后是升是降。单次的绝对值不重要，趋势坏了就说明动错了地方。测试的具体做法，见知识库回答不准，调优从哪下手。
二、转人工率：业务侧最诚实的反馈
如果知识库挂在客服场景里，转人工率是最真实的指标——用户用脚投票，AI答不上，他们就会要求找人工。看转人工率的构成比看总数更重要：哪些问题被反复转人工、哪些时段集中转，抽样看几条对话，原因通常是明确的——缺语料、语料过时，或者这类问题本来就不该让AI接。
转人工的触发规则怎么设计，见AI客服转人工的触发设计。
三、更新时效：知识过期比没有更糟
第三个指标最容易被忽略：一条新政策发布后，多久能在知识库里问到正确答案？一款产品改版后，旧答案多久被替换？
给知识库定一个更新时效标准，比如重要变更当天入库、一般内容一周内复核。做不到及时更新，命中率再高也是在自信地答错题——这比答不上来更伤信任。
四、把评估做轻
评估机制不要做成大工程：一张测试题表、每周看一次后台数据、每月清一次坏例，负责人定到具体的人。指标是为了改进，不是为了汇报。
接下来可以做
- 知识库从零到一的做法，见中小企业怎么搭建自己的AI知识库；
- 想要第三方视角的效果评估，可以了解兰林记AI知识库搭建服务。
延伸阅读：
有类似需求？免费获取方案与报价
顾问1对1解答，不收取咨询费；也可以先用免费工具自行测算。