业务丨AB实验

什么是A/B测试 - 腾讯技术工程
互联网为什么喜欢AB测试? | AB测试的流程与目的
AB实验在滴滴数据驱动中的应用
聊聊用户抽样 | AB测试的基石

浅谈AB测试里常见的辛普森悖论
最重要的一点是，要得到科学可信的AB测试试验结果，就必须合理的进行正确的流量分割，保证试验组和对照组里的用户特征是一致的，并且都具有代表性，可以代表总体用户特征。

AB Test 实验一般有 2 个目的：

1. 判断哪个更好：例如，有 2 个 UI 设计，究竟是 A 更好一些，还是 B 更好一些，我们需要实验判定
2. 计算收益：例如，最近新上线了一个直播功能，那么直播功能究竟给平台带了来多少额外的DAU，多少额外的使用时长，多少直播以外的视频观看时长等

流量分配

实验设计时有两个目标：

1. 希望尽快得到实验结论，尽快决策
2. 希望收益最大化，用户体验影响最小

因此经常需要在流量分配时有所权衡，一般有以下几个情况：

1. 不影响用户体验：如 UI 实验、文案类实验等，一般可以均匀分配流量实验，可以快速得到实验结论
2. 不确定性较强的实验：如产品新功能上线，一般需小流量实验，尽量减小用户体验影响，在允许的时间内得到结论
3. 希望收益最大化的实验：如运营活动等，尽可能将效果最大化，一般需要大流量实验，留出小部分对照组用于评估 ROI

AB测试注意事项

1. 新鲜劲数据陷阱
   用户对于产品中的新功能往往会产生好奇, 而这一好奇在数据层面就会反映在点击上.
   因此在做AB测试评估时, 需要观测指标到稳定态后, 再做评估.
   避免新鲜劲数据陷阱.
2. 人群差异陷阱
   由于不同人群在指标上先天存在差异, 因此在分析AB测试结果时, 需要考虑到不同人群的差异.
   这也是抽样算法合理性的意义所在. 一个较为科学合理的抽样算法, 能在很大程度上规避掉不同人均的影响差异, 做到基于基准指标的分层随机抽样. 确保基准指标的分布基本一致.