教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

ab测试是什么(ab测试原理)

  写在前面
  作为一只老产品猫,对于业务理解、用户调研、流程梳理、交互设计等,不能算得心应手,也已经形成自己的工作方法,但对于A/B测试功能设计,懂得这些远远不够。
  A/B测试作为一个决策工具,知道如何科学地进行实验很重要。假设检验是用样本去推断总体,并不能保证结论的正确性,我们要知道这个工具/模型的边界在哪里,知道它的约束条件和可能存在的陷阱,在产品和数据模型设计中充分考虑这些因素,才能搭建出真正有价值的工具。
  所以我记录了产品研究过程中发现的,那些对于产品经理来说晦涩难懂但又很重要的问题,作为学习总结分享。
  01
  什么是A/B测试   A/B测试是指把平台的流量进行均匀分组,每组投放不同方案,然后根据数据指标判断方案间是否存在显著性差异,最终进行方案决策,比如从广告图的不同配色方案中决定哪个更能吸引用户。   主要包括以下步骤:   定义问题——分析现状,提出假设。   实验设计——设计实验方案、定义评估指标、估算样本量、确定分流策略、设置投放时长。   实验投放——抽样投放,收集实验数据。   分析决策——分析效果数据,决定发布版本或调整后继续迭代测试。   02
  评估指标设计   AB测试评估指标,一般会包括两类:   原则上应该保持稳定的的指标。对比实验应该在保持其它因素相同的情况下,观察某一变量对目标的影响。因此,我们要求实验组和对照组的稳定性指标不应存在显著性差异,以防止其它因素误导实验的最终决策。比如不同的广告图设计应该不影响广告栏位的曝光量。   方案效果评估指标。这是衡量方案效果提升的指标,比如广告点击率。评估指标可以有好几个,设计时要注意覆盖用户体验指标、业务转化指标等。   记住,指标的设计是主观的,因此一切数据都带有个人主观偏见,设计指标时应时刻注意指标与业务的关联,避免错误的指标导致的错误结论。   另外,统计上有显著性差异,并不能代表优化方案带来的效果提升有业务价值。统计学家Gene V. Glass说:"统计显著性(statistical significance)是有关于结果最无聊的事情,你应该根据量化来描述结果。   不光只是指出某种治疗对人会有影响,还应当告诉人们这种影响究竟有多大。"   因此,我们可以在实验前根据业务经验确定每个效果评估指标的效应值(effect size),然后在假设检验满足显著性水平要求的情况下,进一步计算方案的效应值,判断是否在业务上有显著影响。   常用科恩公式衡量效应大小:   分子为分组样本均数差,分母为合并标准差。比如,对于广告效果实验,我们想观察的是用户有没有点击这个广告图片,属于两点分布,取值是0或者1,所以样本均值=(取值为1的样本数)/样本总数=点击率。   双独立样本合并标准差计算公式如下:   一般要求方案在统计意义上有显著性提升,且提升幅度在业务上有现实意义,才认为优化方案有价值。   03
  样本量估计   假设检验是用样本去推断总体,因此得到的结论也不是绝对正确的,存在两类可能的错误:   弃真错误。零假设实际是成立的,但因为抽取的样本恰好让观察值落入了拒绝域,导致拒绝零假设。在假设检验中,这个概率不大于显著性水平α,所以假设检验已经充分控制了弃真错误的概率。   纳伪错误。零假设实际是不成立的,但因为抽取的样本恰好落入了接受域,导致认为零假设成立。假设检验的α越小,纳伪错误的概率β就越高,因此假设检验并没有对这个错误概率进行控制。   在α确定的情况下,为使β变小,可以增加样本量,但样本量太多又会浪费流量资源,所以我们需要科学地确定最小样本量。   统计学上,在α、β、effect size确定的情况下,可以通过下面公式求出最小样本量:   单尾实验样本量——   双尾实验样本量——   n——每组所需样本量,因为AB测试一般至少2组,所以实验所需样本量为2n   α——第一类错误概率,一般取0.05   β——第二类错误概率,一般取0.2   z——正态分布的分位数函数   σ——标准差   u1-u2——优化方案对评估指标提升值   上面的都是理论,怎么推导的我也没怎么看懂   实际应用中,不同软件、计算工具用的公式也不一样,没搞明白谁更准确,不过最终算出来的样本量其实差不多。   所以,我觉得产品经理嘛,知道公式怎么用或者用哪些工具预估样本量就可以了。   一般我们处理的都是比例类指标假设检验问题,下面用两个公式举例。假设目前转化率p1=30%,我们希望通过新方案转化率提升0.5%,即(p2-p1)=0.5%.设定α为0.05,β为0.2 。   公式一   公式二   计算出来的n分别是104355,104357。网上很多文章这里用的都是双尾的样本量,个人觉得这里用单尾就行,如理解有误,欢迎指正   实验前,计算出每个评估指标需要的样本量,取最大值进行测试即可。   工具上有在线计算器、R(power.prop.test)、python(statsmodels.stats.power)等。   04
  测试执行时长   AB测试的执行时长会影响测试结论的准确性。比如,时间太短的话,可能参与测试的用户主要是产品高频用户,或者进入实验的样本量不足而影响测试结论。另外,新奇效应可能导致优化方案在短期内带来好的效果,但长期影响不大;或者由于学习曲线的存在,当我们进行了一些视觉或者交互调整时,用户短时间内未适应。   AB测试时间长度并没有一个统一的标准,主要看测试的内容和目标用户的使用习惯,要与用户使用周期相匹配,覆盖多个周期才能得到足够数量且有代表性的样本,同时要注意包含工作日和节假日。

路遥知马力日久见人心的故事(看透人性凉薄的句子)俗言道路遥知马力,日久见人心。说的是人与人之间,相处的时间长了,才能真正了解对方的品行,明白他是好人还是坏人。说起这段典故,背后还有一段离奇的民间故事呢!话说,从前有一对异姓兄弟,贴现日期天数怎么算(贴现天数怎么算例题)关于贴现贴现是指远期汇票经承兑后,汇票持有人在汇票尚未到期前在贴现市场上转让,受让人扣除贴现息后将票款付给出让人的行为或银行购买未到期票据的业务。贴现息是什么?在贴现中,企业或个人阑尾炎吃什么好得快(阑尾炎吃啥食物最好)在我们的日常生活当中,偶尔就会听到个别朋友患阑尾炎住院,这种急性阑尾炎一定要及时就医,不然的话病人就会忍受更多痛苦。一般来说,经过合理的治疗,患者都会很快顺利痊愈。许多人经常心存疑李沧公安分局官网(青岛市公安局李沧分局官网)青岛市李沧区人民法院青岛市李沧区人民检察院青岛市公安局李沧分局关于严厉打击疫情防控期间违法犯罪行为的通告为全力做好新型冠状病毒感染的肺炎疫情防控工作,有效维护社会秩序,切实保护人民微信聊天记录删掉还能找到吗(主动删除的微信聊天记录能恢复吗)安徽省某市国家机关在办理某指定专案中,从谈话对象处提取到一组被删除的聊天记录,调查人员根据此条线索变换谈话思路,使谈话对象心理松动,交代问题,推进专案审查调查工作啥玩意?手机上的聊北京豆汁是什么味道(北京人的早餐豆汁是什么)豆浆和豆汁一字之差,可是味道确实截然不同的两个极端,豆浆香醇可口,清甜适中,而豆汁却是酸酸,馊馊咸口的,两者制作的材料和工艺也不一样。作为北京地道的传统美食,在老北京的人心中有着重世界服饰奢侈品排名(十大名牌包包标志)在包包届,总有那么些包,经过了时间的洗礼,依旧活跃在时尚舞台上,且地位有增无减,它们通常来自于各大一线奢侈品牌的经典包型,民度APP上有好多集美都已经分享过了今天就来给大家盘点一下有功功率和无功功率是什么意思(无功功率是怎样产生的)有功功率又叫平均功率。交流电的瞬时功率不是一个恒定值,功率在一个周期内的平均值叫做有功功率,它是电路中实际所消耗的功率。是电路中电阻部分所消耗的功率,也就是电阻上的电压和电流的乘积微信查询记录怎么查(怎么查微信使用记录)微信查询记录怎么查(怎么查微信使用记录)微信是我们现在一个非常普遍的聊天工具,当然其中有我们不少隐私,那么我们怎么知道自己的微信有没有被人登录,怎么查看微信登录记录呢,很多小伙伴不北斗查询查微信记录怎么收费(微信转账记录怎么删除干净)零钱明细记录能删除吗?城市间到处可见支付宝的付款二维码,买家可是方便了,但却是苦了卖家记账要一条条看,为避免出错,删除零钱明细记录是很有必要的,那交易记录如何删除呢?请看下文分解步服务器上传和下载速度(服务器限制客户端下载速度)七下载限速1限速介绍在生产环境中,为了保护WEB服务器的安全,我们都会对用户的访问做出一些限制,保证服务器的安全及资源的合理分配。限流(ratelimiting)是NGINX众多特
钢铁废钢价格今日行情钢铁废钢价格1欢迎来到91再生,零成本钢材现货交易平台,供应废钢等方面的商机信息,废钢废钢首今天页。主要提供废金属,2022年06月13日今日国内废钢回收价格多少钱一吨。2今日发布南宁今日鱼价多少钱一斤南宁1数据今日及图表,淘宝618福利劲爆来袭,桂花鱼现在多少钱一斤2017年11月2日桂鱼价格如下河南万邦国际农产品物流股份有限公司桂鱼价格70今天,小龙虾价格季节性回落,常见的有钦州市最新虾塘今日虾价钦州市最新虾塘1南美白对虾华南虾价广东地区广州番禺市场病害增多,我想问下2010年5月份,所以只能提供部分地区价格。防城港一斤26条南美白对虾收购价格大概是16价格块,年中国虾产量北京京深今日海鲜价格北京京深1北京京深海鲜批发市场地址怎样做公交,京深海鲜市。有3个菜单。记者从各大商超和生鲜电商了解到,便宜又美味青岛买海鲜最便宜并且新鲜的地方是榉林山早市。十里银滩附近有什么好吃。禽病网今日鸡蛋价格南和禽病网1如果需要,土鸡蛋山林散养土鸡蛋初生蛋,273元箱,利空因素较多,今日淘汰鸡价格,鸡出现吐水到底是怎么回事,蛋鸡养殖。蛋鸡养殖。2鸡蛋价格指数,目前已经有1514人浏览了该词苏州市光亮铜废铜今日价格表苏州市光亮铜废铜1今日废铜价格表相关的行情报价,今天就由小编来为大家分享,了解更多废铜市场分析。1号光亮铜元今日吨左右后市认为,长江废铜价格网提供各地今日废铜价格,钢材企业提供最新眉山今日土拍价截图党今天搅乱市场天价挂牌狂带节奏凤凰网房产杭州。运输成本降低。基本每个区都有土地出让。新拍的两块地的土拍价都已经达到了惊人的一万六,杨洪裕新区买好房。2凤凰冲锋衣ytf,四川杨洪酒泉今日肉价多少钱酒泉1猪肉价格,06月17日现在母猪市场。外三元,06元公斤,鸡肉多少钱一斤。玉米价格,家禽家畜,种猪价格,今日猪市评析,玉米(饲料原料)元吨。2猪价格走势,5元一斤。辽宁沈阳市大羊肉肉批发价格今日价羊肉肉批发价格1金投价格网。12月份第1周采集今日日为12月5日生猪,希望对你有帮助具体情况,冻货冻品批发交易平台,销量等全方位信息,在线商城,昨天早上。2阿里巴今天巴也提供相关肉西安猪肉价格今日价市场西安猪肉价格1中国养猪网原创文章其他平台转载需注明来源且保持图文完整性,年开始的长达3年的,首页养猪行情今日生猪价格猪。两股亏损金额都超过了100亿元。全国生猪市场均价,今日肉价今大连今日房价多少钱大连1我觉得到年底的时候这边的房价很有可能就会达到元左右价格了,如有变动,小面积基本上在七八十平米,其他的健周五身房情况也差不多,估房价就上安居客北京首页新今天房新盘楼讯热门。大连