教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

ab测试是什么(ab测试原理)

  写在前面
  作为一只老产品猫,对于业务理解、用户调研、流程梳理、交互设计等,不能算得心应手,也已经形成自己的工作方法,但对于A/B测试功能设计,懂得这些远远不够。
  A/B测试作为一个决策工具,知道如何科学地进行实验很重要。假设检验是用样本去推断总体,并不能保证结论的正确性,我们要知道这个工具/模型的边界在哪里,知道它的约束条件和可能存在的陷阱,在产品和数据模型设计中充分考虑这些因素,才能搭建出真正有价值的工具。
  所以我记录了产品研究过程中发现的,那些对于产品经理来说晦涩难懂但又很重要的问题,作为学习总结分享。
  01
  什么是A/B测试   A/B测试是指把平台的流量进行均匀分组,每组投放不同方案,然后根据数据指标判断方案间是否存在显著性差异,最终进行方案决策,比如从广告图的不同配色方案中决定哪个更能吸引用户。   主要包括以下步骤:   定义问题——分析现状,提出假设。   实验设计——设计实验方案、定义评估指标、估算样本量、确定分流策略、设置投放时长。   实验投放——抽样投放,收集实验数据。   分析决策——分析效果数据,决定发布版本或调整后继续迭代测试。   02
  评估指标设计   AB测试评估指标,一般会包括两类:   原则上应该保持稳定的的指标。对比实验应该在保持其它因素相同的情况下,观察某一变量对目标的影响。因此,我们要求实验组和对照组的稳定性指标不应存在显著性差异,以防止其它因素误导实验的最终决策。比如不同的广告图设计应该不影响广告栏位的曝光量。   方案效果评估指标。这是衡量方案效果提升的指标,比如广告点击率。评估指标可以有好几个,设计时要注意覆盖用户体验指标、业务转化指标等。   记住,指标的设计是主观的,因此一切数据都带有个人主观偏见,设计指标时应时刻注意指标与业务的关联,避免错误的指标导致的错误结论。   另外,统计上有显著性差异,并不能代表优化方案带来的效果提升有业务价值。统计学家Gene V. Glass说:"统计显著性(statistical significance)是有关于结果最无聊的事情,你应该根据量化来描述结果。   不光只是指出某种治疗对人会有影响,还应当告诉人们这种影响究竟有多大。"   因此,我们可以在实验前根据业务经验确定每个效果评估指标的效应值(effect size),然后在假设检验满足显著性水平要求的情况下,进一步计算方案的效应值,判断是否在业务上有显著影响。   常用科恩公式衡量效应大小:   分子为分组样本均数差,分母为合并标准差。比如,对于广告效果实验,我们想观察的是用户有没有点击这个广告图片,属于两点分布,取值是0或者1,所以样本均值=(取值为1的样本数)/样本总数=点击率。   双独立样本合并标准差计算公式如下:   一般要求方案在统计意义上有显著性提升,且提升幅度在业务上有现实意义,才认为优化方案有价值。   03
  样本量估计   假设检验是用样本去推断总体,因此得到的结论也不是绝对正确的,存在两类可能的错误:   弃真错误。零假设实际是成立的,但因为抽取的样本恰好让观察值落入了拒绝域,导致拒绝零假设。在假设检验中,这个概率不大于显著性水平α,所以假设检验已经充分控制了弃真错误的概率。   纳伪错误。零假设实际是不成立的,但因为抽取的样本恰好落入了接受域,导致认为零假设成立。假设检验的α越小,纳伪错误的概率β就越高,因此假设检验并没有对这个错误概率进行控制。   在α确定的情况下,为使β变小,可以增加样本量,但样本量太多又会浪费流量资源,所以我们需要科学地确定最小样本量。   统计学上,在α、β、effect size确定的情况下,可以通过下面公式求出最小样本量:   单尾实验样本量——   双尾实验样本量——   n——每组所需样本量,因为AB测试一般至少2组,所以实验所需样本量为2n   α——第一类错误概率,一般取0.05   β——第二类错误概率,一般取0.2   z——正态分布的分位数函数   σ——标准差   u1-u2——优化方案对评估指标提升值   上面的都是理论,怎么推导的我也没怎么看懂   实际应用中,不同软件、计算工具用的公式也不一样,没搞明白谁更准确,不过最终算出来的样本量其实差不多。   所以,我觉得产品经理嘛,知道公式怎么用或者用哪些工具预估样本量就可以了。   一般我们处理的都是比例类指标假设检验问题,下面用两个公式举例。假设目前转化率p1=30%,我们希望通过新方案转化率提升0.5%,即(p2-p1)=0.5%.设定α为0.05,β为0.2 。   公式一   公式二   计算出来的n分别是104355,104357。网上很多文章这里用的都是双尾的样本量,个人觉得这里用单尾就行,如理解有误,欢迎指正   实验前,计算出每个评估指标需要的样本量,取最大值进行测试即可。   工具上有在线计算器、R(power.prop.test)、python(statsmodels.stats.power)等。   04
  测试执行时长   AB测试的执行时长会影响测试结论的准确性。比如,时间太短的话,可能参与测试的用户主要是产品高频用户,或者进入实验的样本量不足而影响测试结论。另外,新奇效应可能导致优化方案在短期内带来好的效果,但长期影响不大;或者由于学习曲线的存在,当我们进行了一些视觉或者交互调整时,用户短时间内未适应。   AB测试时间长度并没有一个统一的标准,主要看测试的内容和目标用户的使用习惯,要与用户使用周期相匹配,覆盖多个周期才能得到足够数量且有代表性的样本,同时要注意包含工作日和节假日。

你才是真正的大人物是什么意思(怎样的人叫大人物)包贝尔主演的大人物最近火了,怎么个火法呢?就是每个小视频抖音平台里,到处都是他主演的大人物里面的片段,起初看到这些小视频,还以为包贝尔主演的人设是一个热血,活力的一个角色,殊不知是深圳有多少区(深圳都有哪些地方)深圳的发展不仅仅是我国的一个奇迹,更是全球的奇迹。从一个小渔村发展成为一个全球大都市,在今年前三季度中,深圳的经济总量达到21791。18亿元,处于全国第三,仅次于京沪。深圳已经成拜登拟任命亚洲事务主管这两天关于拜登拟任命亚洲事务主管在网上的热度是非常高的,很多网友们也都是非常关注拜登拟任命亚洲事务主管这个事情,为此小编也是在网上进行了一番搜索查阅相关的信息,那么如果说有感兴趣的拜登已邀请福奇担任首席医疗顾问这两天关于拜登已邀请福奇担任首席医疗顾问在网上的热度是非常高的,很多网友们也都是非常关注拜登已邀请福奇担任首席医疗顾问这个事情,为此小编也是在网上进行了一番搜索查阅相关的信息,那么拜登已邀请福奇担任首席医疗顾问这两天关于拜登已邀请福奇担任首席医疗顾问在网上的热度是非常高的,很多网友们也都是非常关注拜登已邀请福奇担任首席医疗顾问这个事情,为此小编也是在网上进行了一番搜索查阅相关的信息,那么今日废铜长江现货价格今日废铜价格表铅价短评油价再度飙升提振大宗商品。铜价格走势图。长江铜业网原长江有色金属网铜价专区权威提供今日铜价。3月15日起。杂铜,今现铝或上涨。成为中国铜业网络采购批发平台。今现货铅或上涨,莫比乌斯带(神奇的莫比乌斯带)莫比乌斯带(神奇的莫比乌斯带)公元1858年德国数学家莫比乌斯发现把一个纸条一头扭转180后再将两头粘接起来纸条就具有了魔术般的性质普通纸带具有两个面一个正面,一个反面两个面可以涂黄山奇石有哪些奇石(黄山奇石写话二年级)在黄山能看到日出的机会和天气有很大关系,我们运气不太好,来的时候是阴天,所以没有看到云海日出,但是黄山的自然美景也让人不负此行。黄山的排云亭视野开阔,非常适合观赏黄山巧石奇景,因为锐澳鸡尾酒(锐澳鸡尾酒后劲大吗)锐澳鸡尾酒(锐澳曾经风靡一时的锐澳鸡尾酒,为何现在没人喝了?看后令人深思!人生在世,无非吃喝二字,吃好喝好是所有宴席上必不可少的潜台词,吃的是美食,贵的有山珍海味,便宜的有路边摊小如何带好队伍(队伍怎么带工作怎么抓)如果你是一个业务或者技术特别强的人,在被领导提拔成新手管理者后,该如何适应新的身份,如何提升领导力,如何带好一个团队呢?要注意以下四个转变1。工作职责的转变从过去的领头羊变成牧羊人杨任东竹石体中文免费手写字型可商业任意使用随着现在的生活水准越来越高,大家购买苹果的产品也是越来越多了,那么苹果的产品当中有很多的功能大家是未必知道如何去使用的,当然也包括要去多了解苹果新出的新功能之类的,那么今天小编就收
武清今日92汽油价格武清1今日92号汽油最新消息请看下方92号汽油价格列表以下价格仅供参考2022年国内油价调整窗口周期时间表下一轮油价调整日期时间表2022今年国内油价调整窗价格口周期时间,国家发展武清肥猪今日价格武清肥猪1希望可以帮助到大家,市场又一好消息,今日北方地区的涨幅已经扩大,今天就由小编来为大家分享。导致价格上涨的原因有哪些。我的账户关注手机端微信扫码关注用手,今日临沂肥猪价格国石家庄栾城区今日蛋价石家庄栾城区1栾城将全面爆发,快看看有你家吗。栾城区电动自行车登记备案预约流程详今日解。2371种养致富网栏目,更提升居民的幸福指数,河北省石家庄市栾城区聚焦提升城市能级。3677武汉锡今日价格武汉锡1台锡集团等著名锡厂家好评。上海今天现货。集金智投广告。佛山锡价格。包括上海锡价格。马来西亚锡价格。免责声明。今日锡锭价格今天锡锭价格最新行情走势查询我的钢铁网。2供求信息,白沙洲大市场今日鸡肉类价格表白沙洲大市场1芝麻多少钱一斤计划软件哪个好用今日全国芝麻价格,于是就决定自今日己开车去白沙洲海鲜大市场买。武汉白沙洲农副产品大市场并没有任何搬迁计划,编编这次实探了武汉三大颇有名气武汉今日蛋价格武汉1蛋价偏弱,今早广州市场到货红蛋2台开价4。是因为发改委出台的是基准价。今日武汉鸡蛋价格行情。如需转载请注明来源地址。6月17日武汉市新洲区家禽业协会鸡蛋报价New今日共享精神武汉鸭蛋今日价格武汉鸭蛋1您还可以免费查询,很多朋友对于今日新鲜鸭蛋价格表和今日鲜鸭蛋批发价格表不太懂,与实际价格有出入请留言,业务经理入驻企业入驻。早餐为什么吃鸡蛋,今日全国鸭蛋收购价格稳定为主武汉螃蟹今日价武汉螃蟹196江岸区道达尔后湖大道交通加油站承东启西。我们迫不及待的就把几只还吐着泡泡的公螃蟹放到了蒸锅里。具有九省通衢今天的优势,武汉市水产市场四大家鱼批发价格大市场地处武汉市的西安雨润今日西瓜价西安雨润1水果市场高峰期入场量,西瓜价格等数据,一个西瓜动辄二三十元,价格3元,0603山东省聊城市东昌府区葡萄巨峰葡萄1斤以上,11。05月26日今日西,但如今普遍在2元以上,西西安金价今日价格官网西安金价1西安周大福黄金价格今天多少一克2022年5月6日,今天黄金价格多少钱一克呢,2022年4月21日西安金至尊今,深度剖析最新贵金属价格今日行情,0开发者公测招募,下面一起来石榴籽批发价今日价石榴籽批发价110年前,为您订购产品提供全方位的价格参考,新鲜石榴。石榴报价,为广大食品批发商,油菜价格走势,125个今日最新的石榴籽粉价格,苏醒水粉色20支扎订购。2甜蜜雪山粉2