一. A B 测试流程
1.根据数据分析得到某建议项
2.根据建议项，产品经理得到落地项
3.根据落地项，研发设计人员进行开发设计
4.研发人员采集数据
5.分析师跟进AB效果，显著性95%，维持一段时间，试验结束
整体节奏：灰度5%，10%，20%，50%，100% 节奏一定要控制好
业界都是一套AB测试平台，能够每天进行大量AB

二. AB测试类型
2.1 UI 界面型
2.2 算法策略型
针对新用户的内容推荐
A：100%兴趣预选
B：80%兴趣预选+20%随机

三.实际工作中问题
实例：两个月前产品上线了短视频功能，两个月后上涨，需要分析量化：短视频对于上涨的贡献
一些分析师思路：同一批用户，在使用短视频前后的对比 错误（不是同一时间）
解决：AB解决，在上线前做测试，否则扯不清

四. AB注意事项
1.两组是否真的相同-研发搭建，分析师要知道大概原理
A：001，002,003,004，005
B : 001，002,003,004
C:001，002，003，004，006
D:X,Y 001，002，003,004
结论： A,B,C可用，D不行，确保只有一个变量，通过数据看这个变量是正向还是负向

2.测量是否生效：AB测试，分析师要去抽样
现象：产品经理根据分析师的专题落地了AB，研发也进行AB，效果不明显，此时所有人觉得优化无用，没有去做更多尝试
分析师一样要对AB组抽样，看是否真上了优化

3.评估体系：要去研发沟通好，看哪些指标
设计一套综合体系，后续试验直接看表即可，不用单独建表

4.多观察几天数据：开始的数据不能用，3天后的数据可用
4-10天的数据可用

5.AB测试的存档规划：方便后续找增长点
定期复盘做了哪些AB，预期和实际效果，这是落地项的闭环
建议采用5W1H方法来管理AB测试
what why when who howmuch（预期效果） how much（实际效果）
文档是数据分析师日常重要工作之一，规范化，标准化

五.实例
Netfilx
不同版本的作品，来提高某个标题的收视率
墨迹天气的分享
今日头条 广告位 商业化和用户的平衡

六.思考
对于设计师：设计思维+AB测试
对于产品：直觉不靠谱
对于分析师：多数改动都不会带来大幅提升，AB往往效果略好，要持续迭代
如果效果很好，要非常小心了
所以专题分析也是一个持续的过程，越来越深入，越来越了解产品7