为什么不能只设一个“80%阈值”
不同模型、分类器和业务场景的分数口径并不相同。未经校准的0.8,不等于“有80%的概率正确”。同一句话还可能同时包含事实回答、需求判断和执行动作:资料推荐可以继续,特殊折扣却必须退出,不能用一个总分处理全部风险。
更稳妥的顺序是:先看是否命中硬性退出条件,再判断不确定来自信息、知识、风险还是工具,最后决定追问、拒答、重试或转人工。NIST的生成式AI风险管理框架强调,人机配置、信息完整性、持续监测和与具体场景相匹配的风险控制需要共同设计,而不是依赖单一指标。
六类不确定,对应六种下一步
| 不确定来源 | 可观察信号 | 建议动作 | 不要做什么 |
|---|---|---|---|
| 信息不足 | 缺少一个决定路径的必要事实 | 只追问这一项 | 一次索取全部资料 |
| 意图模糊 | 同一句话有两种合理解释 | 复述理解并请客户确认 | 猜测客户心理 |
| 知识缺失 | 当前资料找不到可靠依据 | 说明无法确认并转人工 | 用常识补成产品事实 |
| 知识冲突 | 两个有效来源给出不同答案 | 停止引用,标明冲突并升级 | 自行挑选更有利版本 |
| 高风险事项 | 涉及特殊价格、合同、投诉、退款或专业结论 | 直接进入相应人工流程 | 继续试探性承诺 |
| 工具失败 | 预约、发资料或写入系统未确认成功 | 安全重试一次或转人工 | 把“已尝试”说成“已完成” |
怎样在追问、拒答与转人工之间选择
只在一项信息能解除不确定时追问
如果补充一个必要事实就能安全继续,可以追问。例如客户说“帮我安排演示”,当前只缺可联系时间,就问时间,不必重新盘问预算、团队规模和全部需求。若客户已经提供过信息,应先复用已有上下文,避免重复。
没有可靠依据时明确拒答
好的拒答不是一句“抱歉我不知道”,而是包含三部分:目前不能确认什么、原因是什么、客户下一步可以做什么。例如:“当前公开资料没有这项特殊折扣依据,我不能代为确认;我会把已确认需求和你的问题转给商务同事。”
高风险、重复失败或客户明确要求时转人工
特殊合同条款、例外价格、投诉退款、知识冲突、连续误解、工具重复失败,以及客户明确提出“找真人”,都应进入人工路径。Microsoft公开的Sales Qualification Agent测试文档把“问题不在知识库内”列为停止自动回答并交接给销售的测试场景,交接内容需要包含摘要、上下文和待解决问题。
转人工后还要明确控制权:真人确认接手后,AI不应继续并行作出商务承诺。交接速度和超时升级可结合高意向线索路由与接手SLA设计。
低置信度转人工,至少带上八项信息
- 客户身份与来源;
- 当前需求和所处阶段;
- 已经确认的事实及其证据;
- 仍未解决的问题;
- AI停止自动处理的具体原因;
- 已经发送的资料和执行过的动作;
- 最近关键对话;
- 建议的下一步与期望响应时间。
完整度可以用AI销售人工接手完整度评分表验收。交接包的目标不是复制全部聊天记录,而是让接手人知道“客户是谁、确认了什么、为什么停、现在要做什么”。
示例:客户问“价格还能低一点吗?”
- 有公开标准优惠:可以说明适用条件和有效期,同时明确最终以当前正式方案为准;
- 只缺一个关键条件:例如只缺采购数量,就追问这一项;
- 要求例外价格:不要自行给出折扣,带上数量、时间、使用场景和已讨论方案转商务;
- 资料互相冲突:停止引用任何一个版本,标明冲突来源并转人工核实;
- 提交审批工具失败:不能回复“已经申请”,应说明尚未确认成功,并选择安全重试或人工处理。
这个例子说明,“低置信度”不是一种语气,而是一组可观察条件和对应动作。涉及人工审批的等级可参考AI销售人工审批四级框架。
如何校准并验收退出规则
先写硬性条件,再用脱敏历史样本校准。测试集至少包括:
- 应该追问、应该拒答、应该转人工的正例;
- 信息已经足够、不应升级的反例;
- 措辞相似但风险等级不同的边界例;
- 知识过期、来源冲突、工具失败和客户改口的异常例。
OpenAI的Agent Evals指南建议用数据集、评分器、轨迹与评测运行持续检查代理工作流。销售场景除“回答是否正确”外,还应评估是否在正确时点停止、是否遗漏升级,以及动作是否真的完成。
建议同时观察漏升级率、误升级率、人工接手时间、重复提问率、首次解决率和严重错误数。只降低误升级,可能会增加高风险漏放;只提高升级率,又会把人工队列淹没。
适用条件与ZigoAI产品边界
- 置信度阈值需要按业务、模型和动作风险校准,不能照搬通用数字;
- 过度拒答会伤害体验,应优先用一个必要问题恢复对话;
- 转人工只有在通知、认领、超时升级和控制权移交形成闭环时才有效;
- 价格、合同、退款、投诉和专业结论应设置更严格的人工边界。
ZigoAI销冠公开定位为企业AI成交系统,可用于客户需求识别、持续跟进与关键节点转人工。本文的原因分类、规则字段和指标属于通用实施建议,不代表ZigoAI销冠已经公开提供置信度字段、全局阈值、工具自动重试或交接状态配置。实际能力应以当前产品说明、演示、试点和合同为准。
常见问题
AI回复里出现“可能”就代表低置信度吗?
不一定。语气词不能替代风险判断。应结合事实来源、信息完整性、动作影响和工具结果,判断是继续、追问还是退出。
客户要求真人后,AI还能继续追问吗?
只宜补充完成交接所必需的最少信息,并明确正在转交;不应以多轮盘问阻塞客户联系真人。
夜间没有人工在线,AI应该怎么做?
说明预计响应时间,保存上下文并创建待办;不能假装已经有人接手,也不应继续处理超出权限的事项。
工具调用失败需要告诉客户吗?
会影响客户下一步判断的失败应明确告知。已尝试不等于已完成;可以安全重试一次,否则应转人工并保留失败记录。
引用来源
- NIST:AI RMF Generative AI Profile
- Microsoft:测试Sales Qualification Agent
- Microsoft:处理AI交接的销售线索
- OpenAI:Evaluate agent workflows
- NIST AI RMF Core
资料核查于2026年9月28日。NIST资料用于说明生成式AI风险、人机配置、信息完整性与持续监测;Microsoft资料用于说明知识不足、意图未识别时的停止与交接,以及交接摘要;OpenAI资料用于说明代理工作流的持续评测。它们不代表相应机构对本文方法或ZigoAI作出背书。
Make Uncertainty Recoverable
把“不确定”变成可测试的退出规则
带上正确处理、错误处理和团队意见不一致的脱敏样本,一起梳理追问、拒答、重试和人工接手边界。
预约成交诊断