20 个问题,测出你的知识库为什么答非所问

5 分钟自测。每题按实际情况打分:2 = 完全做到,1 = 部分做到,0 = 没做到。满分 40。

A. 数据层(5 题)

文档从哪来、谁维护。这一层不过关,后面全是白费。

  • 01你能说清知识库里的文档从哪来、谁负责更新吗?为什么问:没有明确来源和负责人的知识库,3 个月后一定变成垃圾场。
  • 02文档有统一的命名和目录规范吗?为什么问:靠人肉的自觉维持不了 200 份以上文档。
  • 03过期的文档会被标记或删除吗?为什么问:旧价格、旧制度被检索出来,比检索不到更危险。
  • 04表格和扫描件有可读的文本版本吗?为什么问:图片型 PDF 不做 OCR,检索永远为零。
  • 05重复和互相冲突的版本处理过吗?为什么问:同一份制度三个版本,模型会随机挑一个回答。

B. 加工层(5 题)

切片、结构化、更新机制。这一层决定 80% 的问答质量。

  • 06切片之后,每段还能独立读懂吗?为什么问:切片切断上下文,是答非所问的第一大原因。
  • 07标题和章节层级被保留进切片元数据了吗?为什么问:没有来源路径,模型就没法定位'这句话出自哪份文件第几节'。
  • 08表格问答能定位到具体行和列吗?为什么问:整表塞进一个切片,等于让模型自己在大海捞针。
  • 09长文档和 FAQ 用了不同的处理策略吗?为什么问:用一套切片参数对付所有文档,必然有一类效果很差。
  • 10文档更新后,会重新处理受影响的分片吗?为什么问:不重建索引,知识库就停在导入那天的版本。

C. 检索层(5 题)

召回与排序。它决定最后一公里,但救不了前面两层的伤。

  • 11你知道系统用的是向量检索、关键词还是混合检索吗?为什么问:不知道实现方式,就没法判断'为什么没搜到'。
  • 12有没有负样本测试(问它答不出来的东西)?为什么问:只测能答对的题,等于没测;能承认不知道才是好的知识库。
  • 13答案能返回原文出处和引用片段吗?为什么问:不能溯源的答案,在企业场景里不能用。
  • 14检索结果有人工抽检过吗?为什么问:不抽检就不知道召回率是 90% 还是 40%。
  • 15同义、口语化的提问能召回吗?为什么问:员工不会用文档里的原话提问。

D. 接入层(5 题)

谁在用、怎么用。接入做不好,再准的知识库也没人用。

  • 16有明确的'谁在用、用来干什么'吗?为什么问:没有使用场景的知识库,只是另一种网盘。
  • 17权限控制到'不该看的人看不到'了吗?为什么问:企业知识库最危险的不是答错,是答对了但越权。
  • 18回答会区分'来自知识库'和'模型自己编'吗?为什么问:不区分的话,你没法知道哪句话能信。
  • 19有反馈机制(答错能上报、能纠正)吗?为什么问:没有反馈闭环,错误会一直重复。
  • 20有人每周花时间维护它吗?为什么问:知识库是运营,不是项目;没人维护就一定会烂。

怎么解读分数

0–15 分

先别买工具

问题在数据和流程。先做文档规范、明确负责人,否则换什么工具都一样。

16–30 分

能用但不可靠

优先改加工层:切片、结构化、更新机制;检索层最后再调。

31–40 分

底子不错

可以开始接入 Agent、做自动化和权限分级,把这些能力用起来。

测完想让人帮你看?

自测只能告诉你"哪一层有病",诊断会告诉你"具体哪几份文档、哪几个问题、先改哪一步"。