直接回答
企业知识库AI上线前,建议先限定岗位、资料和问题范围,再验证检索到的内容是否有效、用户是否有权查看、答案是否有相符引用,以及缺少依据时能否说明限制并转人工。验收应包含跨部门访问、过期资料、冲突规则、删除撤权和连续追问,保留问题、证据、答案与复核结论。演示成功、回答流畅或一个平均分,都不足以代表可以向全部员工开放。
适合谁看:计划建设制度问答、售后知识库或内部AI助手的企业负责人、业务部门和软件采购人员
一、先把试点范围与成功条件写清楚
建议从一个资料责任明确的场景开始,例如内部设备服务流程或一类产品售后说明。写清使用岗位、资料目录、允许回答的问题、必须转人工的事项,以及试点负责人。
若目标只是查询和解释,首期可以限定只读问答。代替员工审批、修改工单或对外发送内容是额外能力,需要另行定义授权和验收,不能因问答效果好就一并开放。
二、资料入库前确定版本、归属与访问范围
建议每份资料记录标题、责任人、版本、生效状态、来源和授权范围。过期制度、草稿与正式文件分别处理,先让业务负责人核实冲突和缺项,再决定哪些内容进入试点。
微软的文档级访问控制说明展示了按用户或用户组过滤检索结果的思路。企业实现时应让权限约束覆盖检索、答案、引用预览和下载;不能把“请勿透露其他部门内容”作为唯一控制,也不能默认接入资料后源系统权限已被完整继承。
三、把找资料、回答依据和回答完整度分别检查
微软的RAG评估资料区分检索质量、回答与证据的一致性、相关性和完整性。这些角度可以帮助企业拆开定位:没找到正确资料,与找到了却回答错误,并不是同一类问题。
验收样例建议记录问题、用户身份、预期资料、关键事实、允许的表达差异和不能出现的内容。引用不仅要能点击,还要确实支持答案中的相应结论;有一条链接并不代表整段答案都得到证明。
- 检索:找到的是当前有效且有权访问的资料。
- 依据:关键结论能对应到具体段落或条目。
- 完整:答案保留适用条件、例外和必要步骤。
- 可用:实际岗位人员能够理解,并知道下一步联系谁。
四、无依据、冲突和越权问题要有预期行为
主动加入资料中不存在的问题、含糊问题和两份规则冲突的问题。建议系统说明缺少依据、要求补充条件或转交责任人,避免把常识猜测包装成企业正式规定。
再测试不同岗位、部门和租户身份,以及连续追问和要求忽略限制的问法。权限检查应由系统执行,不能只依赖模型配合;被拒绝访问时,引用标题、摘要和历史对话也不应泄露未授权内容。
五、更新、删除和撤权也属于上线验收
资料权限或正文变化后,索引和缓存可能需要同步。建议约定何时生效、谁能触发更新、失败如何告警,以及同步未完成时如何限制受影响访问,而不是默认源系统一改就处处立即生效。
测试一份制度替换、文件删除和用户撤权,检查后续问答、引用、下载以及旧会话是否按约定处理。对外发出的内容和用户已经保存的副本还需另行管理,不能承诺撤权即可收回所有历史传播。
六、交付测试证据,再决定是否扩大使用
建议交付资料清单、权限映射、测试题与实际结果、失败和例外清单、人工接手路径、运行费用口径及维护责任。质量阈值由业务双方结合风险与试点样本约定;越权泄露等问题不能被大量简单题的高分抵消。
采购或定制企业知识库AI时,可先提供一类业务资料、几组岗位问题和授权规则,评估试点范围与维护投入。本文提供需求与验收参考,不表示KNBSoft或维企云当前产品已实现全部能力,具体功能、模型、部署和数据处理方式需在方案中核实。
FAQ
常见问题
把公司文档上传后,就会自动保留原来的部门权限吗?
不能默认如此。应核对所选方案的身份与权限实现,并用不同角色实际测试检索、回答、引用和下载范围。
答案有引用链接,就可以认定正确吗?
还需核对引用资料的版本、适用条件及其是否支持具体结论,避免链接存在但内容不相符。
没有答案时拒答,会不会影响验收成绩?
缺少依据时说明限制或转人工,应当是测试中的一种正确行为。应分别考察有依据的问题和不应作答的问题。
怎样开始一个范围可控的知识库AI试点?
选择一个有资料负责人的业务场景,限定岗位、文件和只读问答范围,准备正常、冲突、越权及更新撤权样例,再约定结果和维护责任。
参考来源
- Document-level access control in Azure AI Search— Microsoft Learn
- Retrieval-Augmented Generation (RAG) evaluators— Microsoft Learn
内容说明:本文使用AI辅助整理,已核对微软公开的文档级访问控制与RAG评估说明。文中的试点、引用核对和交付清单为KNBSoft实践建议,不要求采用Azure,也不把文档中的预览功能视为所有平台的现成功能;实际能力、数据范围和验收指标应在具体方案中验证,不承诺答案完全正确或现有产品已实现全部建议。