先说明希望谁少找哪类资料
给内部员工查操作说明,和给外部客户回答产品问题,需要的权限、用词与确认方式不同。先确定使用对象,再挑一类经常查找、资料相对完整的问题。
知识库问答通常先检索资料,再根据找到的内容生成回答,这种做法常被称为 RAG。它是否有用,要看资料是否正确、检索是否找对,以及回答有没有越过资料能证明的范围。
第一轮可以先做资料查找与辅助答疑。若还希望它改订单、更新库存或承诺退款,就需要单独评估接口、权限和人工确认。
我在品牌客服项目里负责的部分
据现有项目说明,在英国某净水品牌的客服定制项目中,我负责知识库整理、检索配置与测试,协同团队从演示推进到客户确认和上线实测。版本备份、上线及升级回滚准备由团队负责。
现有公开页面记录能展示客服初始界面、欢迎信息、快捷支持、问答输入和联系入口。它们不能单独证明回答准确率或节省了多少客服时间,这两项目前没有量化数据。
案例详情中的问答内容已标明为 AI 拟写示意,不能拿来当真实客服对话或客户使用效果。真正判断回答质量,还需要实际问题、回答和引用资料之间的对应记录。
资料先整理四件事
不用第一天就把公司所有文档都放进去。先挑一个小主题,整理成能检查、能更新的资料集合。任何未经允许使用的文件,都不应直接拿来测试。
- 来源:产品参数、操作步骤和服务规则分别以哪份文件为准?
- 版本:谁维护,何时更新,旧版资料如何停用?
- 权限:哪些内容只给内部员工看,哪些可以对外回答?
- 边界:哪些问题能直接答,哪些要补问,哪些必须转人工?
资料互相冲突时,应先请负责人确认,不让模型猜哪份是真的。知识库没有收录的内容,也不能因为回答听起来顺畅就当作事实。
用实际会问的问题验收
可以先收集员工或客户经常问的问题,去掉个人信息,并请业务负责人写出可接受的答案依据。测试时把问题、回答、引用内容和人工判断放在一起看。
- 资料中有答案:能否找到正确文档,引用是否真正支持回答?
- 问题没说清:是否先问清型号、场景或必要条件?
- 资料里没有答案:是否说明无法确认,并指向负责人?
- 资料更新之后:旧版本是否被排除,回答是否跟着改变?
开始时不必急着给出一个漂亮的准确率。先记录具体错在哪里:没找到资料、找错版本、理解有偏差,还是超出资料擅自承诺。不同问题需要不同修正。
先估查找成本,再安排小范围试用
假设测算,不是品牌客服项目的实测数据
假设团队每天需要查资料 20 次,每次平均 4 分钟,每月按 20 个工作日估算。这只是帮助理解工作量的示例,并非行业平均值或客户统计。
- 目前查找时间(假设)
- 20 次 × 4 分钟 = 每天 80 分钟
- 若试用后实测为每次 2 分钟
- 每天少 40 分钟
- 对应的月度时间差
- 40 分钟 × 20 天 = 13 小时 20 分钟
测量时,核对答案、发现错误和转人工的时间也要计入。若节省的查找时间被反复纠错抵消,就不能把这项试用称为提效。
是否继续投入,还要结合工具订阅、资料维护、员工学习和实施成本判断。先用你们自己的任务测一轮,比套用别人的百分比更可靠。
第一次沟通,可以先说一个反复被问的问题
例如:“我们有产品手册和售后说明,客服每天都要找同样的参数。想先看看能不能让员工更快找到出处。”这比先决定买哪种模型更容易明确试用范围。
初次沟通免费。后续可先约定资料范围、典型问题、引用要求、人工接管和验收方式,再确认实施费用。复杂的系统连接、权限与持续维护需要另行评估。
先用有权使用的脱敏资料。不要在初次沟通时发送账号密码、客户个人信息或未经处理的内部文件。