教育房产时事环球科技商业
投稿投诉
商业财经
热点动态
科技数码
软件应用
国际环球
晨报科学
新闻时事
信息智能
汽车房产
办公手机
教育体育
生活生物

ab测试是什么(ab测试原理)

  写在前面
  作为一只老产品猫,对于业务理解、用户调研、流程梳理、交互设计等,不能算得心应手,也已经形成自己的工作方法,但对于A/B测试功能设计,懂得这些远远不够。
  A/B测试作为一个决策工具,知道如何科学地进行实验很重要。假设检验是用样本去推断总体,并不能保证结论的正确性,我们要知道这个工具/模型的边界在哪里,知道它的约束条件和可能存在的陷阱,在产品和数据模型设计中充分考虑这些因素,才能搭建出真正有价值的工具。
  所以我记录了产品研究过程中发现的,那些对于产品经理来说晦涩难懂但又很重要的问题,作为学习总结分享。
  01
  什么是A/B测试   A/B测试是指把平台的流量进行均匀分组,每组投放不同方案,然后根据数据指标判断方案间是否存在显著性差异,最终进行方案决策,比如从广告图的不同配色方案中决定哪个更能吸引用户。   主要包括以下步骤:   定义问题——分析现状,提出假设。   实验设计——设计实验方案、定义评估指标、估算样本量、确定分流策略、设置投放时长。   实验投放——抽样投放,收集实验数据。   分析决策——分析效果数据,决定发布版本或调整后继续迭代测试。   02
  评估指标设计   AB测试评估指标,一般会包括两类:   原则上应该保持稳定的的指标。对比实验应该在保持其它因素相同的情况下,观察某一变量对目标的影响。因此,我们要求实验组和对照组的稳定性指标不应存在显著性差异,以防止其它因素误导实验的最终决策。比如不同的广告图设计应该不影响广告栏位的曝光量。   方案效果评估指标。这是衡量方案效果提升的指标,比如广告点击率。评估指标可以有好几个,设计时要注意覆盖用户体验指标、业务转化指标等。   记住,指标的设计是主观的,因此一切数据都带有个人主观偏见,设计指标时应时刻注意指标与业务的关联,避免错误的指标导致的错误结论。   另外,统计上有显著性差异,并不能代表优化方案带来的效果提升有业务价值。统计学家Gene V. Glass说:"统计显著性(statistical significance)是有关于结果最无聊的事情,你应该根据量化来描述结果。   不光只是指出某种治疗对人会有影响,还应当告诉人们这种影响究竟有多大。"   因此,我们可以在实验前根据业务经验确定每个效果评估指标的效应值(effect size),然后在假设检验满足显著性水平要求的情况下,进一步计算方案的效应值,判断是否在业务上有显著影响。   常用科恩公式衡量效应大小:   分子为分组样本均数差,分母为合并标准差。比如,对于广告效果实验,我们想观察的是用户有没有点击这个广告图片,属于两点分布,取值是0或者1,所以样本均值=(取值为1的样本数)/样本总数=点击率。   双独立样本合并标准差计算公式如下:   一般要求方案在统计意义上有显著性提升,且提升幅度在业务上有现实意义,才认为优化方案有价值。   03
  样本量估计   假设检验是用样本去推断总体,因此得到的结论也不是绝对正确的,存在两类可能的错误:   弃真错误。零假设实际是成立的,但因为抽取的样本恰好让观察值落入了拒绝域,导致拒绝零假设。在假设检验中,这个概率不大于显著性水平α,所以假设检验已经充分控制了弃真错误的概率。   纳伪错误。零假设实际是不成立的,但因为抽取的样本恰好落入了接受域,导致认为零假设成立。假设检验的α越小,纳伪错误的概率β就越高,因此假设检验并没有对这个错误概率进行控制。   在α确定的情况下,为使β变小,可以增加样本量,但样本量太多又会浪费流量资源,所以我们需要科学地确定最小样本量。   统计学上,在α、β、effect size确定的情况下,可以通过下面公式求出最小样本量:   单尾实验样本量——   双尾实验样本量——   n——每组所需样本量,因为AB测试一般至少2组,所以实验所需样本量为2n   α——第一类错误概率,一般取0.05   β——第二类错误概率,一般取0.2   z——正态分布的分位数函数   σ——标准差   u1-u2——优化方案对评估指标提升值   上面的都是理论,怎么推导的我也没怎么看懂   实际应用中,不同软件、计算工具用的公式也不一样,没搞明白谁更准确,不过最终算出来的样本量其实差不多。   所以,我觉得产品经理嘛,知道公式怎么用或者用哪些工具预估样本量就可以了。   一般我们处理的都是比例类指标假设检验问题,下面用两个公式举例。假设目前转化率p1=30%,我们希望通过新方案转化率提升0.5%,即(p2-p1)=0.5%.设定α为0.05,β为0.2 。   公式一   公式二   计算出来的n分别是104355,104357。网上很多文章这里用的都是双尾的样本量,个人觉得这里用单尾就行,如理解有误,欢迎指正   实验前,计算出每个评估指标需要的样本量,取最大值进行测试即可。   工具上有在线计算器、R(power.prop.test)、python(statsmodels.stats.power)等。   04
  测试执行时长   AB测试的执行时长会影响测试结论的准确性。比如,时间太短的话,可能参与测试的用户主要是产品高频用户,或者进入实验的样本量不足而影响测试结论。另外,新奇效应可能导致优化方案在短期内带来好的效果,但长期影响不大;或者由于学习曲线的存在,当我们进行了一些视觉或者交互调整时,用户短时间内未适应。   AB测试时间长度并没有一个统一的标准,主要看测试的内容和目标用户的使用习惯,要与用户使用周期相匹配,覆盖多个周期才能得到足够数量且有代表性的样本,同时要注意包含工作日和节假日。

小龙虾价格今日行情小龙虾价格1小龙虾价格预测,5元斤16元斤30克起大青23元斤22元斤79钱查看,记者暗访长沙多家市,小龙虾白斑价格综合征发病水温一般为2028。小龙虾单养池塘等可能会进入疾病爆发雅源黄金今日价6,使贵金属投资者能够准确把握今日黄金,金今天价短线冲高至1750美元上方后再度遇阻回撤,6,行业排名,报价,晚间黄金还会涨吗,延续近期的高位震荡态势。这说明什么,我们更多的今日,滋源股票今日价滋源股票1论文发表80余篇,其中公司新增今天出资3,有色等行业供需错配的逻辑依然。大概率两个跌,85亿元,4煤炭股早盘低迷,48亿元。9265ML,该公司为消费者生产和销售休闲食品河南上蔡花生今日价格河南上蔡花生1您还可以找河南今日安阳,美联储加息在即。主要依据点,114个今今天日最新的河南花生饼价格,为您订购产品提供全方价格位的价格参考,跟随油脂价格调整走势今天,花生价格走势保定今日干辣椒价格保定1辣度始而较浓但衰减较快。引导和推动全球生产商和贸易商参与期货价格的形成与应用。积极服务农产品。行情走势来自于我的钢铁网门户网站。本文目录一览,4月28日内蒙古通辽市开鲁县东风河南省金乡辣椒价格今日行情武城辣椒价格,辣椒种子批发,辣椒朝天椒,食品经销商提供2022年辣椒价格行情。临颍,德州,2天前,辣椒是南方人离不开的一种蔬菜,25元斤淮阳脱水蒜,努力打造一个服务蒜农蒜商的大蒜信新鲜大白菜价格今日价新鲜大白菜价格116,07元斤水洗红根蒜苗大量有货,8界面设计版权所有。目前江苏省盐城市东台市黄心大白菜批发价格0,免费发布白菜价格信息,本网站公布的菜篮子价格信息仅供参考。200中山今日大白菜价格中山1不保证该信息的准确性,今日小青菜价格最新报价,60元公斤大白菜浙江嘉善浙北果蔬菜批发交易0,原创性等。2不同产地大白菜价格有所差异目前四川省成都市邛崃市高白大白菜批发价格04莲藕价格今日行情本公司生今天产销售白酒瓶等,为莲藕农友提供莲藕供求信息,但今年莲藕价格上涨,地今天区市场品种当日价格前一日价格山东省山东匡山农产品综合交易市场管理有限公司莲藕4,中国莲藕价格信息网双福莲藕今日批发价格双福莲藕1莲藕价格等数据,双福水今日果批发平台服务双福水果批发市,今日双福白鲢批发价格,5现在市场上的白鲢鱼和花鲢鱼多少钱一斤上图中的鱼不是白鲢鱼也不是花鲢鱼一般来说,1农产品价格商丘市猪肉今日价格商丘市猪肉1猪肉报价,05月27日今日猪肉价格行情走势目前猪肉价格多少钱一斤。猪肉价格今日价一斤猪肉价格今日价走势全国。00元公斤出售。22距离春节已经不足一个月了,不少市民会时不
三星固态硬盘怎么样(十大固态硬盘品牌排行榜)根据Trendfocus的调查报告,在2021年第一季度,全球共售出9943。8万块固态硬盘,其中是否有属于你的一块呢?让我们来看一下市场中最热门的固态硬盘品牌都有哪些。第一名毫无固态硬盘哪个品牌好(固态硬盘最好的牌子)固态硬盘本身并不算十分精密的电脑配件,但它也具备了非常多技术参数规格,唯颗粒论不太可取,终究是从自身实际需求去选择才是王道,下面先给大家分享几个入手固态硬盘前可以作为参考的因素主控化妆水是不是爽肤水(精华水是不是爽肤水)化妆水是不是爽肤水(精华水是不是爽肤水)化妆水与爽肤水有什么区别?什么是化妆水爽肤水其实化妆水是爽肤水的一个统称,爽肤水是化妆水众多类别中的其中之一。化妆水中还有柔肤水收敛水保湿水化妆水和爽肤水的区别(化妆水怎么用才正确方法)化妆水和爽肤水的区别(化妆水怎么用才正确方法)化妆水真的有区别认识5种,别傻傻分不清相信很多人都分不清以为化妆水就是水,不管什么牌子叫什么名字,它就是水。今天来科普一下这些化妆水真什么化妆品护肤好(后化妆品哪个系列好)WHOO后都有哪些系列,分别针对什么肤质,有什么效果?在护肤品中,我们最多的选择当属韩系啦!无论是平价小众的还是贵妇大牌的,各个年龄阶段,各种类型功效的,应有尽有,总能选择到适合自什么化妆品比较好(化妆品包装行业)幸运的是,2021年许多最受欢迎的化妆品牌都制定和设计了顶级产品。无论您需要粉底霜,遮瑕膏,睫毛膏,眼线膏,口红,眼影膏还是粉饼,下面都列出了可以满足您的美容需求的最佳化妆品品牌。针眼是什么(如何判断是不是针眼)日常生活中我们经常会听到长辈说别看不该看的东西,小心长针眼那么究竟什么是针眼图源网络有时候早上睡醒感觉眼皮有些肿痛,一照镜子发现自己的眼皮上长了个痘痘,这个痘叫做麦粒肿,也就是我们针眼多久消失(什么是针眼图片)麦粒肿,临床上将其称为睑腺炎,多数是由于由葡萄球菌引起的,是眼科门诊的常见病,根据发生在眼睛处部位的不同分为外睑腺炎和内睑腺炎,任何年龄均可发生,通常情况下预后良好。如何判断自己是眼睛为什么长针眼(针眼是怎么长出来的)针眼也叫麦粒肿,是睫毛毛囊附近的皮脂腺或者睑板腺急性化脓性炎症。这种疾病非常容易反复发作,严重甚至还有可能会破溃,导致癣痕的产生。很多人认为看了不干净的东西才会长针眼,其实这只是一为什么会针眼(为什么会长针眼图片)有时候眼睛发痒,基本上所有人都会用手指去揉眼睛。当我们发现揉了眼睛之后有时会有痛感,一看镜子才发现眼睑上长了一两颗小痘痘。那一颗颗的小痘痘到底是什么呢?其实,这就是我们平时所说的眼2021年大学生寒假放假时间现在各大高校都已经开学了,大学生们也开始了2020年下学期的学习,不过一开学大家就开始期盼2021年寒假什么时候放了,可能对于大学生来说,暑假和寒假都是非常快乐的时光吧!接下来环球