栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > 资讯 > 高等教育 > 考研政策

超全!AB-test白皮书(1)原理篇

超全!AB-test白皮书(1)原理篇

编辑导语:我们都知道,产品投放和活动策划最终都是基于用户数据量来检验是否成功,所以在正式投放之前,需要提前预测效果。然后,本文提出了生物防治实验方法“AB实验”。主要介绍AB实验的应用场景、统计原理、常见分层机制及其原理,值得阅读学习。

考虑以下两种情况:

场景一:过年前三天,X产品根据业务经验信心满满地上线新首页。全卷推出一天后,DAU较上月大幅下跌。下降是因为新首页还是过年期间流量自然下降?新首页是好是坏?

场景2:算法X和算法Y在同一天同时推策略A和B。全款上线后,交易效率直线上升。两人对交易效率的贡献进行了激烈的争论。

以上两个问题可以通过AB实验解决。AB实验起源于生物学中的控制实验。核心原理是通过随机分流的方式,创造一个实验环境,让实验组和对照组之间唯一的差异就是待测部分,从而可以确认观察到的组间差异与待测因素存在因果关系。

AB实验的核心价值可以概括为对比分析、降低风险、提高效率。通过AB测试,可以准确定量地实现低成本试错和高效率迭代。

一、AB实验原理

AB实验的核心统计原理是通过假设检验来检验实验组和对照组的样本均值差异相对于样本方差是否足够大,是否可以说实验组和对照组的样本均值差异是稳定的而不是波动的。

一个典型的AB实验会经历四个过程:设定期望、设定最小样本量、AA验证、AB验证。

1. 设定预期

到了这个阶段,就比较简单了。直接给出包括指标、涨价和降价的预期就行了,比如GMV+0.5%,点击率-3%如果你不喜欢这个产品等等。

2. 设定最小样本量

首先,引入以下两个统计概念:

第一类误差(α):当原假设为真时,拒绝原假设的概率。

第二类误差(β):当原假设为假时,得到原假设的概率。

原假设一般是指不符合预期的情况,备择假设是指预期的情况。例如,如果GMV在实验中预期上升,那么H0: GMV差异= 0,H1: GMV差异> 0。一般来说,第一种错误(α)是指实验结果不符合预期,但你认为符合,你拒绝了真正的原假设(拒绝真理);第二种错误(β)是指实验结果符合预期,而你认为不符合,接受了错误的原假设(假)。

来源:百度百科

样本量越小,样本方差越大,出现一类或二类错误的概率越大,所以理论上实验样本量越大越好。但在实践中,总是期望用最小的样本量进行实验:1)试错成本:造成下降的20%流量和5%流量的实验成本明显不同;2)效率:单个实验的流量越大,可以同时进行的实验越少,单个实验的流量过大会影响业务的整体迭代效率。因此,有必要找到一个平衡的样本大小,可以兼顾成本/效率和准确性。

通常在实际业务中,第二种错误的后果是比较严重的,因为第一种错误导致战略完全无效,而第二种错误则直接错失上升机会。所以一般用power=1-β来确定实验的最小样本量。

以单侧检验为例(实际中单侧检验较多,双侧检验可自行推导),假设实验的期望目标diff为△,d为不排斥H0的临界值。

获取:

计算最小样本量可能是一件比较麻烦的事情。通常,需要将不同n1、n2及其对应的s1和s2带入试错公式中。

3. AA测试

在AB测试开始前,通常用空 white对实验组和对照组进行AA测试。AA实验要大概率通过测试,否则数据的某些环节肯定有问题,比如埋点,调车。此外,AA测试可以有效防止以下两种情况:

A.历史实验对用户的延迟效应:之前实验的影响可能会持续到实验离线,造成流量自然不均衡。

B.在少数情况下,样本正态性不一定成立。需要通过AA测试才能发现。

AA检验的具体统计原理与AB检验相同,在AB检验部分详细展开。

4. AB测试

一共三步,还是以单面检查为例。

第一步:假设

步骤2:构建统计数据

其中△为实验预期。

第三步:比较临界值并做出决定。

在单侧检查中,

当步骤2中的Z值小于临界值时,不拒绝原假设,认为实验无显著影响;当Step2中的Z值大于临界值时,驳回原假设,认为实验效果显著,实验成功!

第四步:置信区间

虽然第三步实验已经被证明是有效的,但是还需要进一步计算置信区间,增加实验结论携带的有效信息。

统计意义是实验的真实效果有1-α的概率落在置信区间内。

二、分层机制

如果一个实验需要10%流量的实验组和10%流量的对照组,那么在理想情况下,单层最多可以同时运行9个实验。当上述实验效率不能满足业务发展需要时,就要考虑实验分层。

分桶可以理解为纵向分流量,桶前桶互不重叠;分层是对流量的横向分割,各层之间相互正交,一个用户同时属于多个未使用的层。这有点像城市里的平房不能满足居住需求的时候,住宅楼就会越来越高,楼层越来越多。

完全正交性使得层1上的实验流均匀分布到层2。对于layer2上的流动,实验和控制的唯一区别仍然是layer2实验中要测试的部分,实验环境仍然成立。

层间完全正交的前提是用户完全随机分散在两层上,即两层相互独立。使用哈希算法来解决这个问题变得非常简单。只要盐值发生变化,哈希算法就能给出不同的散射结果。有两种常用的哈希算法,MD5和CRC。具体算法和数据端关系不大,就不详细展开了。注意当使用CRC算法时,你应该注意不同层的salt值不应该取类似的名称,如layer1、layer2、Layer 3等。如下图所示,CRC是一种典型的伪随机算法。当分散的种子(盐值)过于相似时,层不是彼此独立的。

层外有域划分,更适合独立实验,域间没有相互影响。Launch-Layer一般用来观察N个策略的打包效果,确定这个集成发布的最终影响。

三、总结

本文主要介绍AB实验的应用场景、统计原理、常见分层机制及其原理。如果你仔细阅读这篇文章,你应该可以在常规情况下做AB实验。

然而,在实践中,有许多情况会偏离常规情景,如实验的局部有效性、分析单位和随机单位之间的不一致、多重检验、不满足正态假设等。后续章节将逐步讨论和介绍上述问题的解决方法。

作者:阿尔温的奇幻世界,6.5年BI经验的互联网电商巨头;微信官方账号:阿尔温的奇幻世界(ID: Arwendadaodao)

本文由@阿尔温的幻想世界原创发布。每个人都是产品经理。未经许可,禁止复制。

题目来自Unsplash,基于CC0协议。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/news/1639265.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号