一、一次只回答一个问题
把实验标题写成一个可证伪的问题,例如“简化注册步骤是否能提高有效完成率”。如果不能写出否定条件,这个实验还没有准备好。
唯一变量不是教条,而是为了让结果能够归因;确需多变量时,应提前说明交互影响和样本需求。
- 实验回答的是一个可以被否定的问题,而不是一句无法证伪的口号
- 一次实验只允许存在一个主要变化,否则结果无法归因到具体原因
- 成功和失败的结果都保留下来,避免只留下看起来好看的那些结论
- 样本量在开始前估算完成,避免上线后用不充分的样本草率下判断
二、提前写下停止条件
观察窗口、最低有效样本、异常波动和业务风险都应在实验前确定。否则团队很容易因为短期好看而提前停止,或因为不愿承认失败而无限延长。
实验结束后保留决策记录:继续、回滚、扩大还是转为常规功能,以及依据是什么。
- 实验窗口的长度在开始前就定下来,不因为中途数据好看而临时延长
- 出现异常波动时的处理方式提前写好,不临场讨论该继续还是该停
- 最终决策连同当时的依据一起存档,半年后仍能理解为什么这样选
- 这一轮的结论直接关联到下一次实验,形成连续而不是孤立的判断
三、让结果落到下一次决策上
实验真正的产出不是一个百分比,而是一个可以带进下次评审的决定。结束时明确写出:这次改变了哪条假设,下一步打算验证什么。
如果两次实验之间没有任何关联,它们只是两个孤立的数据点。把它们串成一条线索,团队积累的才是判断力,而不只是数字。
- 实验的产出是一个可以直接执行的决定,而不是一份没有落点的观察报告
- 结论会写进下一次验证的设计,让上一轮的判断真正影响后续动作
- 失败的原因同样被记录下来,避免同一个坑在别的实验里再踩一遍
- 各次实验之间可以相互追溯,看清哪些判断被反复验证、哪些仍是假设