A/B测试不是“看哪句话回复率高”
AI销售会同时影响首轮响应、需求补齐、资料发送、跟进节奏和人工接手。若只比较“客户是否回复”，更强势的催促可能短期提高回复率，却降低有效商机质量，甚至增加拒绝和投诉。
因此，A/B测试首先要回答一个具体决策：哪一种可控变化，能否在不突破风险边界的前提下，改善一个预先确定的业务结果。Firebase官方把A/B测试描述为在全面发布前，先在用户子集上比较不同方案对收入、留存等关键指标的影响。查看Firebase A/B Testing说明。
“把整套销售流程优化一下”不是合格假设。更可测试的表达是：对首次咨询但信息不完整的客户，先询问业务目标再发送产品资料，是否能提高七天内完成有效需求补齐的比例，同时不增加拒绝联系和错误回复。
为什么要先做离线评测？
线上实验不应承担发现基础错误的工作。价格乱引、知识缺失、隐私越界、承诺失控和工具误调用，应先在离线环境中拦住。OpenAI的官方评测指南建议先定义目标，收集能代表真实分布的生产、历史或专家样本，确定指标后再运行、比较，并持续评测。查看OpenAI评测最佳实践。
一套最低可用的离线测试集应同时包含：常见咨询、模糊需求、拒绝与退订、知识库没有答案、价格与合同、投诉、需要人工确认的承诺，以及提示词注入或诱导越权等边界问题。样本应来自真实业务并完成脱敏，不能只用团队临时编写的“标准问题”。
只有A、B两版都达到安全与事实准确门槛，才进入小流量实验。离线胜出并不等于线上一定胜出，但可以显著减少客户替团队承担测试成本。
一张实验设计表应写清什么？
| 设计项 | 需要明确 | 常见错误 |
|---|---|---|
| 实验假设 | 目标人群、唯一变化、期望结果 | 一次同时改提示词、知识和跟进频率 |
| 分组单位 | 客户、账号、门店或销售团队 | 同一客户不同消息进入不同组 |
| 主要指标 | 一个最能支持上线决策的业务结果 | 看到哪个指标好就报告哪个 |
| 风险护栏 | 错误、投诉、退订、越权与交接失败 | 只看转化，不看伤害 |
| 样本与周期 | 预估样本量、完整销售周期、停止规则 | 运行两天后因结果好看提前结束 |
| 执行一致性 | 渠道、来源、人工规则与统计口径 | A组由资深销售接手，B组无人跟进 |
实验开始后不要随意更改流量分配、目标指标或版本内容。Firebase的实验概念说明提醒，实验进行中改变应用行为会影响结果解释，样本量也会直接影响推断可靠性。查看Firebase实验概念。
为什么通常按客户分组，而不是按消息分组？
AI销售是多轮过程。同一客户第一轮看到A策略、第二轮看到B策略，会同时污染体验和数据；客户跨渠道重复进入，也可能让两组互相影响。更稳妥的做法，是用稳定的客户或账号标识完成随机分配，并在实验期间固定分组。
若多个联系人属于同一采购团队，或者同一名销售会把实验话术带给其他客户，客户级随机仍可能发生“串组”。Google Research关于协作网络实验的研究指出，互相关联的用户可能造成处理污染，需要考虑按群组分配。查看Google Research研究。在B2B场景中，可以据此考虑按企业、门店或销售团队分组。
主要指标与风险护栏怎样搭配？
主要指标应该贴近此次实验的业务目标，并且只有一个。例如首次接待实验可选择“七天内完成有效需求补齐率”，沉睡客户实验可选择“重新确认真实需求率”，高意向识别实验可选择“符合标准的人工接手率”。具体定义必须写清分母、窗口和排除条件。
辅助指标可以观察回复率、资料点击、对话轮次、人工耗时和后续商机，但不能在实验结束后从几十个指标中挑一个最漂亮的。风险护栏则用于阻止“转化提高但代价不可接受”的方案，至少包括事实错误、错误报价或承诺、客户明确拒绝后仍触达、投诉、退订、隐私暴露、应转人工而未交接。
业务链路较长时，还要关注延迟结果。Google Research指出，短期实验效果不一定能代表全面上线后的长期效果，因为用户行为会随时间变化。查看Google Research长期效应说明。AI销售实验至少应覆盖关键销售窗口；重要变更上线后仍需观察更长周期的商机质量、成交和投诉。
从候选版本到上线的七步流程
- 写明决策：说明为什么要实验，以及结果将决定什么。
- 冻结变量：一次只改变一个核心因素，记录完整提示词与知识版本。
- 离线评测：用代表性样本检查事实、安全、语气、交接与工具行为。
- 预注册规则：确定分组单位、主要指标、护栏、样本、周期和停止条件。
- 小流量运行：先在有限渠道或客户范围中执行，并保持人工接手能力。
- 统一分析：按预设口径比较结果，同时检查两组线索质量和执行差异。
- 做出决定：扩大、继续观察、修改重测或停止；保留版本、数据和决策记录。
正式实验前，可以先用AI销售项目验收清单确认基础能力和风险边界。若基础准确性没有过关，继续优化转化指标没有意义。
什么结果才算“可以上线”？
结果不应只有“赢”或“输”。建议使用四类结论：
- 扩大：主要指标达到预设标准，风险护栏没有恶化，样本和执行可信；
- 继续观察：方向可能有利，但样本、周期或延迟结果不足；
- 修改重测：假设合理，但执行污染、数据缺失或版本变动导致结果无法解释；
- 停止：主要指标没有改善，或任何关键风险护栏触发。
即使B版胜出，也不代表它永远有效。客户来源、产品价格、渠道政策、模型和知识都会变化，应把胜出版本纳入持续评测，而不是永久冻结。
适用条件与边界
- A/B测试适合比较可控且风险可接受的策略，不适合用真实客户试错法律、医疗、金融、合同和价格承诺。
- 真实对话用于评测和分析前，应确认处理依据、脱敏、访问权限和保存期限。
- 样本不足时可以报告“尚无结论”，不能用百分比差异替代可靠证据。
- 人工销售的接手速度、能力和执行意愿会影响结果，必须记录并检查组间差异。
- ZigoAI销冠官网目前没有公开说明内置A/B测试平台；本文是通用实施框架，具体分流、报表与版本能力需在项目启动前确认。
常见问题
A/B测试可以只比较两版提示词吗？
可以，但两组应只改变目标提示词，并保持模型、知识、工具、线索来源和人工接手机制尽量一致；同一客户应固定进入同一组。
流量很小，还适合做A/B测试吗？
可以先做离线评测和专家盲评，再延长观察周期或使用分阶段验证。样本不足时不宜把短期波动包装成确定结论。
A版本回复率更高，是否就应该上线？
不一定。应按实验前确定的业务主指标判断，并同时检查投诉、误导、退订、错误承诺和人工接手等风险护栏。
价格、合同和医疗等高风险回复能直接在线实验吗？
不建议进行无约束在线实验。应优先在离线或沙盒环境验证，并通过固定规则、人工审批或转人工限制高影响动作。
ZigoAI销冠是否内置A/B测试功能？
官网目前没有公开说明内置实验平台。本文提供通用实施方法，具体分流、报表和版本能力应在项目启动前确认。