产品优化的秘密解密增长黑客和测试
⇨⇦
大数据时代，拥有数据就是拥有了宝贵的财富，而当下的互联网环境中获得数据也已经变得越来越容易。
然而仅仅手握数据还是不行的，你还需要使用数据来发挥价值。但是数据的价值怎么才能最大化的挖掘出来呢？
7月14日，前Google AdWords 优化团队负责人，耶鲁大学计算机科学博士，吆喝科技创始人@王晔 做客免费在线课程栏目「起点学院公开课」，带你揭秘数据增长驱动产品优化 。
嘉宾介绍
王晔，清华大学电子工程系硕士，耶鲁大学计算机科学博士，曾在Google美国总部负责广告产品的创新和研发，对A/B测试系统、大规模复杂系统、数据挖掘和分析、互联网基础架构有深入研究。历任IEEE移动计算、GLOBECOM互联网协议与车辆技术评论家专家、ACM外部审核专家、2009对等网络国际研讨会、超现代化的通讯和控制系统2010、2011国际会议TPC。在IEEE、ACM等全球有影响力的学术期刊发表多篇学术论文，主要研究领域为计算机网络系统设计及优化。
以下为分享正文，由人人都是产品经理团队笔记小组@李任培 依据嘉宾现场分享内容整理，编辑有修改：
一、 什么是增长？
1、定义
先说一下产品优化的大背景：大的背景实际上是增长，我们所做产品优化的目的其实很明确，需要不断地促进企业公司业务的增长，这是我们的主要目标。
产品优化当然有其他的一些好处，但是它的根本目的是为了获得业务的增长。
增长这个概念从经济学角度来讲，是连续发生的经济事实的变动以及单位时间的变化。这个变化可以是正向的也可以是负向的，所以有负增长这个概念。在互联网领域里，增长的概念还可以再细分；除了业务之外（比如说公司的净资产，营业额等等），还有一些运营的指标增长也是我们的目标。
2、增长指标
PV/UV/IP
访问时长/停留时长/使用时长
GMV/LTV/客单价
分享/点赞/转发
大家可能比较了解，比如说你是个网站的站长， 那么你肯定会关心PV、UV、浏览用户IP地址等等。你也会关心用户的访问时长，停留时间等等，特别是一些视频类、直播类的网站，尤其关心时长的问题。 如果你是电商类的产品，你肯定关心你的销量GMV； 或者如果你是一些在线的网站，那么你要关心客单价、LTV。用户一生中给你的贡献 ，有一些分享、转发、点赞等等其他的指标 。而我们优化的目的都是针对这些指标，让他们能够尽量的提升， 或者让他们不要去负增长。
二、如何实现增长？
1、传统方式
那么如何实现增长呢？
从传统的方式来说，往往和产品的关系并不是很大。因为对传统企业来说，通常你做出一个产品之后，你想很快速的去迭代它，优化它是很困难的。比如做牙膏的，或者做手机的，要获得增长怎么办？往往就需要去做地推， 去打广告， 做促销。在线也有一些方式，比如从一些第三方渠道购买流量，或者可以给用户送补贴、送促销、做活动。虽然在线的这种增长方式曾经很有效，但是现在不太能够持续了。这主要是因为：无论做广告也好，做促销也好，其实是一个高投入的事情。随着竞争越来越激烈，你的对手通过竞价不断推高了渠道的价格， 会给你带来一个不可持续性的投入：成本越来越高，买不起了，也补贴不起了。而且通过补贴这种方式带来用户，这样的增长往往是很敏感的，一旦你的补贴没有了，烧钱结束了，他们就会离开， 他们就不能够持续的为你做出贡献。
2、新兴的Growth Hack：AARRR模型
新一代的增长方式就截然不同了，它是一种数据化的方法。数据的手段，通过一种很技术人的方法来获得增长。不再是通过花钱去硬砸的方式，而是通过产品、数据、市场的数据分析，通过快速实验和迭代产品，来找到产品对用户最大的价值在哪里，怎样在用户进入产品之后的每一个环节获得增长。
这种方式一共包括了5个环节，就是AARRR。可能有些朋友都听说过这个模型， 但是我还是要把它再说一下， 让大家明确的知道我们到底在讨论什么。
在这个模型中AARRR五个环节是用户进入你产品之后的5个体验。这个体验如何优化，如何产生更高的价值，这是新一代的增长方式，我们叫它增长黑客。它尤其关注的是客户留存、激活以及口碑。从用户最早进来，我们获得用户开始；到后面的激活、留存；到口碑；最后到营收，像水从上游流到下游的概念（中间可能还会有一些平级的概念）。那么，增长黑客关注的是什么呢？ 就是在用户体验产品的这五个环节之中，如何能够不断的获得增长。 让每个环节都提高一点，就会最终带来一个全面的提升。这就是我们刚才所说的增长，或者说是优化的目的。
最上面的acquisition获得了用户。
用户来了之后， 一个很重要的环节是激活：activation， 就是我们可能从渠道买来的流量（但是并不是所有的用户都会激活它，可能只是因为你送了一个什么券，或者广告很吸引人，他来了；或者它是一个预装的软件）。但是他并不会真的变成你的一个用户。变成用户激活很重要。
然后接下来，激活的一部分用户会留存下来：Retention。意思是他会长期使用你的产品， 有一部分甚至会帮你去refer，帮助你去做口碑营销， 好找更多的人进来，让更多的人使用你的产品。
所以这个激活、留存、口碑营销都是非常重要的，任何一个环节都会带来整体的增长。
那么最后当然是最后一步转化，活跃用户当中的一部分会为你贡献收入，无论是通过点击广告， 还是付费购买，以及采购商品，他都会给你带来收入。
3、转化率优化，增长是最有效的杠杆
AARRR这5个环节里面我们都想做增长， 大家也知道这个概念， 那么增长的是什么呢？实际上是增长的转化率。转化率的优化是增长最有效的杠杆。也就是说从获取到激活，这是一个转化。
可以想象：我们有10000个获取的用户， 其中有2000个变成了我们的活跃用户， 我们在这个层面有一个20%的转化率。转化的活跃用户有1000个用户留存下来长期使用我们产品，那我们就有50%的转化率。这50%里面，可能又会有10%给我们贡献了收入，有100个用户给我们贡献了收入，这又是一个转化率。
这每一个环节的转化率都是特别特别重要。你只要在这个转化率这件事情上做出了增长，做出了优化，你就可以带来实际的增长，而且是最有效的。
当然也有一些别的可以做增长的地方，比如说你在acquisition，激活的地方多开一些渠道，你可以获得增长。在转化的基础上也是可以从别的地方引流，让他们活跃，这也是有可能的。
但是这些都不是很有效的方法，最有效的方法就是直接提高转化率。
4、没有转化率的优化，增长十分困难
其实可能大家都知道这个概念， 但是为了强调就再说一次。
如果你没有考虑转化的情况你会获得更多的渠道，会更多的开源， 但是就像这幅图里的一样，你摘的玉米棒子，你可能一路摘一路丢 ，它没有形成转化，没有形成留存的话， 就完全浪费了所有的努力和投入。
5.什么是转化率优化
那么怎么样去提升转化率，或者说怎么样优化转化率呢？其实对我们产品经理来讲是一个非常硬功夫的事情，那就是说我们要去考虑我们自己的产品， 比如说网站或者APP， 我们怎么能让它变得更好 ，变得更有效，变得对我们的用户来说更加的高效。
最大化优化你的收入，最大化优化你的业务目标，比如让用户更多的下单，或者让用户更多的购买，这可能是你的目标，但是实际上能够产生这个效益来说，要产生的最核心的反而是是从你的用户考虑问题，怎么能够提升他们的用户体验。
我举个非常直白的例子：我们都说怎么让电商产生更多的收益，我们想让一个用户在电商平台里多停留一些时间，这当然是个方法，我们通过优化我们的推荐算法，推荐相应的商品，提高我们的排序算法，让用户可以更快的找到他想要的东西。我们通过UI，竞价，展示各个不同层面的优化，让这个用户的体验更好，让他更有效率的更方便的更可信的找到他想要购买的商品。这样就有可能让他在同样的时间之内多下单，让他在你这个平台待同样的时间但是产生更多的效果，产生更多的转化，这个就是所谓的转化率优化的方法。
6、转化率优化的力量
转化率优化可以扩大你的用户获取渠道，可以让你的市场行为更加有效。比如说你转化率在注册这个环节上提升了10%，那么你原来可能来了10000个用户，最后转化了1000个注册，但是现在你就可以变成1100个。也就是你的平均成本下降了百分之几个点。你原来花100块钱的事情现在花九十几块钱就可以干。如果你能注册转化率提升50%，就不得了了。你可以打开新的有效的增长渠道，比如说你现在留存变好了，你现在转化变好了，你就可以更大胆的更积极的去烧钱，更积极的去促销，更积极的去打渠道。当然最重要的还是提升用户的体验，让你的用户更开心，让他们可以产生传播，让他们给你带来更多的流量。当然最重要的是当你看到你的转化率还不是最好的时候，还不是100%的时候，就可以继续寻找改进的空间。
7、AARRR中的转化率
那么回到AARRR这个模型我们就可以看到转化率包括了哪些。最简单的是一开始。比如说网站，或者是APP，一开始是访客，然后呢是留存，他不离开，然后呢他可能是a-ha moment，进来之后他的第一次访问，觉得你的产品很棒，完全达到了甚至超越了他的需求，那么他可能就会形成进一步的转化。然后会有注册这样一个过程，最后可以形成一个有效的账号。然后，在留存这个环节，就可能出现用户用他这个账号更多的打开你给他发的通知，然后重新回到平台上，然后在你这个产品里面做更多的访问，然后，那么更加酷的一个环节是转化可能会更低，但是效果会更好的一个环节就是这个口碑营销，他们会去宣传，＂诶，你产品很棒，体验很好，我希望拉更多的人进来＂那么这就是所谓的refer。到最后，revenue，可能转化率更低，但是它的意义就会更大，它会点击广告，它会产生购买，会成为你的收入的主要来源。
大家可以看到这张表的一个例子就说明了：转化的越深，用户的行为对我们的价值就越高。我们看到最后可能就是购买更高价值的商品之后它可能对我们的价值是最高的，是25块钱，这样一个行动。但是要产生这样一个行动，他要经过前面的层层的环节，每一层环节转化率的提高都会对最后一个环节产生巨大的影响。这就是我们的AARRR模型的意义，让我们知道在哪些环节上可以去优化，可以去增长，他最终产生最后的效果。
8、优化方程式
然后呢说到这个优化的话，其实，转化率优化这件事情我们用一个数学方法去描述的话，我们在maximum，conversion，我们在最大化转化率。
Constraint，受限条件
constraint，就是它受限制的条件，可能是你本身有的用户数量，或者你能够触达的用户数量。你受限制的可能是你budget预算，然后也受限制于你企业本身你有多少研发力量，你有多少数据分析能力，你有怎么样的这种条件。然后从数学理论来讲它就是一个数学问题，这个数学问题有意思在哪里呢。就是我们的目标很明确，我们要去优化，我们要去最大化我们的转化率。同时我们的受限条件也很明确，就是我们现有的企业还有现有环境的限制，但是这个变量却很复杂，就是我们可以控制变量来不断的提升转化率最终达到最大化。
从产品，运营两方面优化转化率
但是这个变量本身却很复杂，它包括了至少两方面是我们产品经理和产品负责人特别重视的，一个是我们的产品本身，一个是我们的运营，那产品可能就包括你的UI的设计，然后你到底有哪些功能，你的用户体验流程是什么样，然后细节上的文案是怎么样的，你的界面布局或者用户交互是怎么样的，然后我们后端的一些，比如说推荐算法，排序算法，风控策略，派单策略等等，都是我们产品的一部分，她都可以做各种各样的调整，各种各样的变化。它是一个很复杂的变量。那么运营环节也是，我们可以做各种各样的活动，做各种各样的促销，做内容营销，然后做大量的PR，传播，分享等等各种各样的努力都可以做。这些都是我们可控的变量，我们通过控制这些变量，来最大化我们的转化率，这就是整个优化所做的事情。
优化方程式的解释无限的
如果大家学过优化理论的话可能知道，如果在一个很明确的限制条件下，有一个很明确的优化目标，再有一个变量解的空间，我们是有很多算法来找到这个最优解的。比如说gradient这种算法，比如说模拟退火等等这样人工智能的算法都可以。但是很遗憾，在我们的企业运作中，在我们的互联网产品优化过程中我们这些算法都帮不上忙，原因就在变量的解的空间太大了，解集是无限的，也就是说我们没有办法去遍历，没有任何的办法找到最优的解，所以我们需要一个迭代的方法。
9、如何优化转化率
在这张图里就展示了它的方法。可能非常非常的原始和粗暴， 但它也是我们唯一可以仰仗的方法。也就是说我们不断在已有产品已有运营的基础之上，我们去做些微的调整 ，然后去尝试哪些调整有可能带来转化率的增长，哪些不可以。然后我们通过这样的方式一点一点去优化提升我们的转化率。方法很简单，根据我们要优化的目标，把比如说页面上的改动灰度的发布给一部分用户，然后去看它的数据。比如在这张图里， 可能蓝色的改版放给了一半用户，他们的转化率是11%，而原来这个绿色的版本是23%。数据结果告诉我们 ，这个绿色的版本更好，也就是说我们尝试了解空间里至少两个点，其中一个点比另一个点好我们选择绿色的版本。那么在这里要注意，这个流程是只改变一个条件的单盲试验，也就是这个对比里面我们仅仅是对比了这个产品的不同。产品本身的用户流量应该是比较相似的，他们用户的来访时间应该是比较相似的，其他的促销活动，所有的用户应该都享受。在其他条件都不便的情况下，只改变网页一点点的变化，去对比数据转化率的数据，然后去做决策到底哪个更好。要注意这是只改变一个条件的单盲实验，我们后面再去提到这一点。
10、通过优化打造MVP
优化的时候这种迭代的思想其实是从我们第一天就开始的， 也就是我们大家都听说过的MVP的概念， 最小的最有效的产品，这样一个概念。那么从一个最简单的，可以满足用户需求的，达到我们市场目标的产品开始，我们不断的对它进行优化，进行改进，知道它越来越好，达到一个最优的效果。
那么要注意的一点是，MVP的做法，第一个方法是不对的， 最上面那种。MVP说我现有一个很完美的设计，然后我先做它的一部分，做一个轮子不能用，做两个轮子还是不能用，做个车架子也不能用，把他们堆起来才能用， 这不是MVP的方法。这样的方法就跟传统产品一样，就跟你做一个牙膏或者手机一样。你先做个设计，然后把它做出来，然后再推向市场，这样的话你就失去了我们刚才所说的产品优化的迭代的效能， 你就变得跟传统企业一样，你的优化会变得愈加的困难。
那么另外一种方式也更加不可取，就是你先做一个滑步车，然后再做一个自行车，把它变成摩托车，最后变成汽车，也就是说你总是在改变你的产品形态。那么这个并不是一个不可以的迭代方法，但是它的成本太高，就是它是一个非常糟糕的路径。正确方法就是下面所说的，你现有一个产品，然后不断的对它进行改进，当然改进的时候要通过试验的方法，这是我们后面再提的。
11、优化中常见问题
a)获取优化试验结果，试验结果准确度、可信度可能不准
举例：我们做了一个游戏的产品，很小的一个产品，然后我们发现有一些玩家愿意在上面付费，我们希望能提高玩家在付费环节的转化率，我们做了一个尝试，做了尝试之后呢比如说我们推给500个玩家，我们发现这500个玩家付费比其他的用户要多，那么这一定说明我们新推出的这个方案好么，我们新推出的这个碉堡好么？不一定，可能你做实验的这500个人里面你恰好圈中了王思聪，他的下单率远远大过其他人，那么你的这个试验结果就不准确。那么刚才所说的那种迭代方法就没有真的产生效果， 因为结果可能是不对的，它促使你做出了一个错误的判断。
b)试验结果分析算法置信区间的收敛速度，试验的敏感性可能不敏感
另外如果你的试验流量，试验分析，还有试验的设计不是很理想的话，那么你通过一个置信区间的分析你会发现， 你统计的结果从概率角度讲可能会非常的不准确。举例来说，你对比两组数据，实验组和对照组相比，结果可能是-200%到+500%这样一个变化的区间，你根本拿不准这个迭代使你的产品变好了还是变坏了。这也是另外一个痛点。
c)大量优化并发试验，针对特定用户群体的定向试验，分层试验、交叉试验等等可能很繁琐
如果你要去做迭代的话呢，你要大量去做尝试， 做改动，但是大量的改动，如果你同时上线，或者分开给不同的用户去体验，可能会遇到一个苦难，就是他们试验的结果会不会互相干扰，试验的用户会不会之间有一些问题，那么这也是一个挑战。
d)管理海量优化试验，包括海量历史数据与经验，细致的试验数据分析可能很复杂
最后当然也包括你如果能够管理海量数据。当然大家都是产品经理，都会有自己的idea。 你可能有10个想法，10个对你产品优化的想法去上线， 一个公司如果有3个就是30个， 如果有10个产品经理就是100个。 那么过了两个星期你还会记得你做了哪些试验么，这会很痛苦。
12、优化的方向，可以优化的地方
说了这些，我们要慢慢引出我们核心的概念，其实，我们优化的目的很明确，刚才已经说过了，留存转化，用户活跃转化行为，比如购物车的添加购物车的退出，功能使用等等。然后，你可能要做的优化迭代的方向就是你的各种创意， 你的各种想法，你根据用户行为作出一些判断。比如说在UI层面，在用户体验层面做了一些改进。比如说你的页面布局，有的时候这个东西影响非常的大，你是把用户的4个篮子放在最上面，还是最下面，还是左边还是右边，这都很有影响。当然文案也很重要，如果我现在看到这个案子上面写的是现在申请，我打赌它的转化率肯定不如点击领取大奖的效果要好。
13、优化中需要注意的事情
推荐的算法，产品的新功能这些，都是我们平时就想到，就要去迭代的东西。但是这些迭代，和我们前面所说例子的一样，到底能不能产生优化的效果呢，到底能不能提升访问率UE，点击率，支付率等等， 那么我们就需要注意什么呢？我们需要科学的流量分隔，我们要让实验组实验对象具备典型的用户特征， 不要出现像王思聪这样奇葩的被采样的用户做实验。另外我们需要一个可信的能够快速收敛的95%置信区间，他能告诉我们这个迭代能够带10%的增长，这10%的置信区间是从5%到15%。那么我就确定了我至少有95%的概率可以提升5%，另外你也可以考虑在试验当中做人群的定向，比如说我只对上海的或者深圳的女性用户做试验，我能从中学到什么东西，能对我的产品有什么启发。
二、优化的利器：AB测试
1、你的测试真的是AB测试么？
上面所说的所有都是为了引出AB测试这个概念，AB测试就是Always be testing 。它的概念就是一个科学的测试。它能够帮助我们去合理的采样用户流量，带有一部分随机性，帮助我们去实现实验流量的采样，同时支持很多的变量参与实验， 我们可能在UI层面要做实验， 我们可能在促销或者活动上要尝试，我们到底上不上一个大转盘。我们当然也会在后端的派对算法和推荐算法上做尝试，他们都可能影响我们的效果，这些变量的影响会怎么样，需要一个科学的方法去追踪，我们要知道到底哪个变化产生了什么样的影响，可以帮助我们产品经理在管理产品的时候可以很容易的去选择到底哪个版本你想交给你的用户去体验，然后当然还有实验时间的问题，就是说这个实验跑多久才可以做出决策，这其实也是AB测试需要解决的问题。就是如果我们不做AB测试，我们直接上线了，然后过了两天，我们觉得这个效果，数据不错，就真的数据不错么，真不一定，这后面会说。当然也有收敛区间置信区间等等问题，这都是AB测试要解决的。
2、优化方式
其实AB测试的方法论大家在前面已经知道，有一些概念，但是更重要的是把它集成到我们产品研发，测试，上线，运营的各个环节中去，这个才是在Google的秘诀所在。假如你有了AB测试这个工具，集成了SDK或者怎么样，你总是在设计一些新的迭代方案，就是我刚才说的UI能不能变一变，按钮的位置能不能变一变，文案能不能变一变，上不上一个促销等等，这些方案都可以灰度的上线，就是并不是所有用户都体验的，然后你去设定实验流量，比如方案A让1%的用户去体验一下，方案B让2%的用户去体验一下，然后这些放进实验组这些用户他们的数据会被实施长期的采集下来，然后根据这个实验数据我们会知道，有些方案特别的棒。比如说我们改了一个文案，使得用户下单率提高了，那么我们就可以把它发布，让更多的人体验这个文案。如果它不好，那我们就要打回去重做，我们就要去思考为什么这个数据和我们想象的不一样呢，为什么他们没有提高呢，为什么没有增长，那么我们该怎么从中吸取经验教训，然后让它不断的去新的迭代。
3、AB测试与统计分析的差异
接下来我要说一些理论性的东西，就是AB测试集成到我们系统里面，是正确的方法，为什么正确呢，它与我们做统计分析，它与我们做后验的数据分析，有什么区别呢。
先验性
如果我们每次改版每次迭代的是都没有经过AB测试就直接上线了，那会发生什么事情呢，那么可能一个不太成功的改版不太成功的策略被上线之后就直接带来了损失，比如说降低了20%的用户下单量，那么如果真的发生了这样的事情的话，我们后验的话就产生了不可弥补的损失，但如果我们做AB测试我们可以怎么样呢，我只采样一部分的用户，比如1%的用户来做这个实验。
举例来说，我们遇到过一个旅游类的产品，它在他的注册环节做了一个小小的改版，这个改版也经过一些测试，但是他没有想到的是对失眠上的某些安卓手机 会有一些不过注册流程上会有问题，那么他每天会花10玩块钱去采购流量，会吸引一万个用户来注册，结果因为这个bug的原因，有40%的用户想注册而注册不了而流失掉了，意思就是这10万块钱里面就有4万块钱浪费掉了，但是他的这个心的改版通过我们AB测试来验证一下，用1%的流量来验证一下， 虽然也有40%的损失，但是它是1%的40%，换句话说他不是损失4万块钱，而是损失400块钱，这就是先验性的意义所在。
并行性
也就是说我们真正AB测试也好，产品优化也好，真正的使用场景并不是说我现在有一个迭代方案，然后去先验证一下然后决定是不是上线，不是这样的。显示当中你要做到优化，你必须，就是我们刚才说到的优化问题，解的空间是无限的，我不能一个个点着找，我必须同时找10个点，20个点，100个点，我要同时上线很多很多可能的方案，然后对它进行测试并行，而不是说上一个，不行再上一个，那样的话我一个月只能去验证2、3个idea。但是如果有了并行性，AB测试同时上线，1%的用户尝试这个方案，1%的用户尝试另一个方案，你就可以同时检验20个方案，100个方案，1000个方案都是有可能的。
科学性
是只改变一个条件的单盲试验，如果你的AB测试的试验则和对照组并不只是改变了一个条件， 这个条件就是你想做的试验，你想迭代改版的东西。如果不是这样，比如说实验组的用户和对照组的用户还有一个另外的区别， 比如说我们刚才实验组里有王思聪，或者实验组用户享受了一些促销和优惠，对照组没有， 那么你的实验结果就不科学不可信，它对你没有帮助，那么这样说AB测试索要解决的问题，这也是AB测试的价值所在。
4、AB测试提高效率
回到刚才的问题，你没有科学性，并行性，先验性，会发生什么呢，可能你第一次尝试AB测试会觉得ok，我需要去花很多是人力精力，写很多代码去做AB测试，花了一些时间，得出了一些结论，一个版本点击了100下，一个版本点击 了97下，那到底是提升了降低了还是没有变呢你也不知道，这样你的优化就无从谈起。正确的使用方法就是你有一套强大的工具，然后你可以同时上线很多很多迭代的方案，可能在一周的时间内就验证了100个想法。其中可能有60个70都是既不能带来增长，也不会降低的，可能会有十几个会跟你之前想象到的完全不同，它会降低你的营收，降低你的转化率，可能只有二十个或者十几个能够提升你的转化率，但是你就把这十几个发布出去，就可以产生效果，这就是使用AB测试优化的方法。这个是Google天天所做的事情。
5、自建的复杂程度
如果你能够这样去做，你有一套工具可以轻松开展AB测试，它除了能帮你去优化之外呢， 他可以帮助你更快的改版，更快的上线，可以一键发布给所有的人，一键回滚，避免出现线上的事故，也可以实施的获取实验结果，加速制定期间的收敛，帮助你更快的决策，支持大量的并发试验。轻松管理海量的实验。如果你有这样一套工具，你的优惠就变得异常的强大，但是如果你需要这一套工具的话呢，我的建议是你不要自己去造轮子，我们AB测试就在做这件事情，AB测试这样一个工具，那么我们开发了一年半的时间，才刚刚基本没有bug了，系统比较完善，我们有强大的功能了，但是后面还有很多很多未来的挑战等待着我们，所以经验就是这个事情还是很复杂的。
6、国际顶尖增长黑客的方法
然后说一说我的老东家，硅谷的一些公司是怎么利用这些工具实现优化的。
Airbnb
他们是对AB测试实践非常非常精细的一个公司，它从第一天开始，所有的重要页面，关系到转化率的。比如说注册页面，注册页面转化率很重要喔，通过AB测试的方法来迭代，怎么做呢 ，它的每一个改版，每一个调优都首先灰度发布到1%的用户，比较大的可以先发布到5%的用户，去看看数据，用户的下单，用户的留存，用户的注册率转化率，根据这个来决定是上线还是打回重做，它就保证了Airbnb总是在不停的增长，不停的优化。
Google
是最早实现这件事情的公司，现在每个月可能都会跑几百个实验，AB测试，从中找到实解，当然主要是搜索结果和广告的点击率，这是特别重要的一件事情，通过这样的事情呢，google实现了每个月增长2%，不要小看这个数字，实际上google通过这样每年可以达到20%增长率，它就可以一直超过华尔街对它的期待，那么它的股价就可以不断的攀升，不要小看了这个数字。开个玩笑话，微软，苹果并不能使用大规模AB测试这样一个黑科技来做迭代，为什么呢，微软它的一个重要产品，比如说Xbox，它想Xbox的配置做一个AB测试时不现实的，苹果的iphone也没有办法真的去做AB测试，它就没有办法保证每个产品电脑推出迭代都可以优化，一旦它这个季度没有实现优化，没有实现增长，它的股价就会暴跌，微软和苹果都曾经出现股价腰斩的情况，但是google从来没有出现过，
Facebook
在移动端每次的升级改版它都会把未来6个月要做的各种改版，全部都灰度的发布给用户，用你1%的用户试试这个改动，用1%的用户试试那个改动，只有对它转化率提升的，它才会发布出去，那些不好的就不会去发布。
知乎等
其实国内也有一些企业在践行这样的实验，比如百度的搜索，大众点评的推荐系统，还有知乎的运营，知乎我就说个例子，知乎他们通过数据发现如果一个用户在知乎上回答了超过3个问题，他就会比没有回到够3个问题的活跃度高一倍以上，它就会觉得一个用户回答3个问题很重要，那怎么办呢， 它就用AB测试，筛选了一部分新用户把它拆成试验组合对照组，对实验组的新用户就会用他的运营人员，比如说是男性用户，就会伪装成美女去邀请你去回答三个问题，邀请你回答一个问题，回答了，再邀请你回答，再邀请你回答，等你回答了3个问题她就不邀请你了。然后呢，他就会AB测试对比，用了这个策略的新用户和没有用这个策略的新用户哪个更活跃。实验结果非常好， 用了这个方案能够带来转化率的增长，能够提升，所以它就发布给所有用户。如果你是新注册的知乎用户，你相信我，你一定会被邀请回答3个问题。
7、高效AB测试七条黑客经验
接下来，因为AB测试这件事情很复杂，所以我们在这里不可能展开说的特别细，但是有一些经验确实非常通用的，这个我们在其他场合也分享过，但在这里大家还是可以去再次感受一下，了解一下高效AB测试七条黑客经验，
效果惊人：你产品的一些微小的改动，有可能就造成对KPI的巨大影响。有的时候一个颜色的变化就有可能带来100%的分享率的提高，都是有可能的。像我们自己的客户，在他们自己的教育类网站，他们注册改了一个文案，就提升30%的学生注册率。
耐心测试：但是大多数会的改动并不会大幅度提高KPI，就像你做100个实验可能6、70个都没有什么用，这是非常可能的。
Twyman法则：而且对于这件事情还有一个twyman提出的法则，跟墨菲定律一下很搞笑，说的是凡是看上去很出人意料的图表，通常都是因为数据统计错了，
你很不同：另外产品之间往往可以参照的东西不多，你去复杂他人的经验往往没有用。开玩笑说如果京东把亚马逊的一些策略拿过来，说不定有点用，但可能不好，如果抄淘宝的，可能会是灾难性的后果。
速度是关键：但是任何能够加速用户响应时间的改动，都会给KPI带来提升，一定要记住了如果你的技术团队有能力让你的Html5页面变得更快，或者让你的网站打开的更快，或者APP响应的更快，就让他们全力以赴去做，给他们无限的支持，因为这一定会给你带来正面的提升。
关注产品的质量：你想要在一个环节中提升点击率其实不难，就像我说的点进来是大奖，或者你在推送消息的时候说您有一个大礼包待领取，或者您有一个奖待领取，这种方法往往能产生一个很好的点击率。或者你在电商平台，你的展示方式是一个大美女，那么一定往往能提升你的点击率，但是这件事情对你的产品并没有什么本质的帮助，他们不会有实质性的帮助，更重的是你要考虑的是真正核心的用户转化率在哪里。我们有个定义叫Core Action，就是你的用户到底什么样一个行动，这件事情的转化率最重要，你要搞明白。对Facebook来说他的转化率最重要就是他去发布了一个行动，或者是加了一个好友，这件事情可能特别特别重要。对google来说可能最重要的转化率是用户点击搜索结果这件事情很重要。对Uber来说，可能用户召唤一个行程可能特别重要，一定要关注在这个产品质量上面。
快速轻量迭代：另外在做迭代的时候一定要做一些轻量的，做一些小的改动，做一些小的实验，千万不要去做大实验，因为这种东西往往是弊大于利的。你做一个大的改动，最糟糕的情况是你把用户群都变了，原来很喜欢的用户他走了，多糟糕啊，来了一些新用户你指望他们重新填充你的retention留存率是挺难的一件事情。另外你一个大的改动，你很多地方都改了，那么你的实验结果也没有办法归一，没有办法去帮助你去积累经验。你确实在优化的解空间当中的一个点跳到了好远好远地方的另一个点，那么中间这些点会有什么变化你一无所知。但是你用轻量迭代就能帮助你去积累更好的经验了。
用户数量是基础：最后，用户数量也是个问题，如果你只有100个用户，可能AB测试并不是一个适合的黑科技对于你来说，你可能需要更多的是用户调研，用户分析。只有当你有了1000个日活的时候，可能AB测试这种迭代的方法才有效，否则你的实验结果是不准确的。开玩笑说，如果你只有两个用户，一个人说你好一个人说你不好，那么你信谁呢，那么AB测试对你是没有用的。
8、优化指标的设计
还有一点也很重要，就是我们刚才所说的优化指标的设计，我们刚才列举了很多PV，UV用户留存时间等等，但是在每个阶段在每个我们实验设计里都会有一个不同的优化指标，这是很可以理解的，也是正确的。但是你要想一个问题是，你的真正的远景目标是什么，我们管他叫北极星。这个北极星很重要，就是你的所有努力其实要朝着北极星进发，然后你每一次优化的时候你的优化指标都应是拖动你的发展方向更靠近这个北极星，他不一定时要直直的去的，它可以是歪着去的，但是他歪着去之后呢，你要不断去调整你的优化指标，让他越来越靠近你的北极星。我觉得最成功的产品在这方面的把握是最好的。不忘初心，还是刚才那个观点，你不要总是想着一个细节的点击率，而是你要有一个更远大的目标，那么在这里core action很有用。
案例
墨迹天气
墨迹天气，它是一个很工具类的app，他的用户体验很不错，我们公认他是一个非常棒的产品，但是他依然很关注转化率的提高，比如说分享，他希望大家能够分享更多墨迹的故事，天气的故事，天气的内容，他的分享的图标，哪怕是一个小小的图标的变化，也会带来转化率不同，比如像这个案例里面，三种不同的设计对比原始的分享的设计，方案三能够提高18%的分享率，其实非常的高，他可能每天有10万的分享就带来1万的增长，这是不得了的一个事情，然后你会看到很有意思就是这个置信区间，有时候也是比较宽的，当你的实验流量不多的时候，比如说方案二提升了5%，也是提升的，但他是从-1%到+10%，那么就不是那么确定性的结果，这是一个小小的例子。
滴滴
滴滴也是我们一个很有意思的客户，对滴滴来说他需要的转化率不一定是打车的人，他不需要很多打车的人，但是他需要很多很多接单的司机。他通过AB测试也可以提升司机的注册率20%以上，通过尝试不同的设计和文案，当然，AB测试帮助他提升效果是一方面，真正提升了转化率，但是另一方面，也可以通过这个试验更好的理解自己的用户。
他最左边这种招募司机的方案为什么转化率不高呢，我们一分析，通过试验我们理解了，对比后面两个方案，第一个方案他的设计不明确，就是他到底是招募车主还是招募打车的人，不知道。可能有很多误点进来的人，他可能以为是招打车的人。
那么中间这个版本就会好很多，＂每天跑一单，油钱轻松赚＂，鼓励你来做滴滴的司机，赚钱。但是也不是那么完美，因为可能很多有兴趣的人点进来发现我要上传行驶证，上传驾驶，觉得我当这个司机好麻烦，没有形成最终的转化。
那么最后一个为什么效果是最好的呢，因为车主招募这个事情很明确，这个产品，这个设计就是让大家知道就是招司机的。你可以来做滴滴的车主，可以来赚钱，这些人目的很明确，他来了转化率救会比较高。所以你就会看到一个很有意思的现象就是做了AB测试产生了效果并且获得了经验，这个对我们产品经理还是更重要的一件事情。
乐动力
最后一个案例是我们的乐动力，这个案例就是他鼓励他的用户去下载这个跑步的app，那么这种方式，为了统计学，AB测试更加准确，它会考虑看这个时间，这个过去两周发生的时间，红色的方案一直都比其他的更好，他就知道了这个设计是更好的。
以下是小伙伴们现场提问的一些问题：
问：优化之中的置信区间是什么意思？
答：置信区间是一个很重要的概念，他是和AB测试紧密相关的，是用一种统计学的方法，来分析实验组和对照组连个随机过程的采样的数据。他们通过对比他的采样数据，对这两个随机模型的参数进行一个统计学意义上的对比，然后最后形成一个一定置信度的变化区间。
其实如果你不是AB测试，而是直接上线一个东西，再下线一个东西，根据数据来分析，也会有置信区间的问题，但是一般那种置信区间会很宽很宽，意思就是你基本上不知道结论是什么。那么一个AB测试的置信区间，他往往是这样一个概念，就好像刚才我们ppt里举的例子，就是说对照实验组使得你某一个指标的转化率提升了15%，然后他的95%置信区间是从10%到20%，就是说你把这个实验组版本方案迭代，把这个方案发布给所有的用户，那么你有至少95%的概率可以提升10%以上，而且有比较大的概率可能是最终提升了15%，也有一定小概率会提升20%。这就是置信区间的概念。
当然你也有5%的概率这个变化不在提升的这个区间之内，也是有可能的。在工业上，我们一般都会有95%置信区间。举个例子，如果你看到你的实验结果置信区间是从-3%到+3%，那么很可能发生了什么呢，你的这个实验版本既不能给你带来增长，也不能带来下降。如果你是3%到6%，那么你可以基本确定这是一个好的优化方案。他能带来增长，如果他是-5%到-2%，那么这个方案千万别上线，他会带来负增长。
问：AB测试一般要测试多少天，积攒多少样本才能得出结果？
答：积攒多少样本才能得出结论这件事情和置信区间也是相关的，置信区间要足够窄才能说你得出了一个比较好的结论。积攒样本这件事情取决于几个方面，一个是试验流量本身，一个是转化率本身，比如说你的转化率非常的低，你只有百分之零点零几的转化率，那么你可能需要非常非常多的样本才能够做出有效的测试。
但是如果你的转化率是50%，那么可能你有1000个样本你就够了，跑一个小时就够了，但是AB测试测试要持续多少天这件事情我要提一下，AB测试一般要持续7天，或者14天，这是是因为AB测试是只改变一个条件的单盲测试，就是你只改变一个条件，你的实验本身其他都不变，你当然希望整个试验时间覆盖用户的周中的行为和周末的行为，他星期一到星期五的行为可能和星期六星期天不一样，所以7天是一个比较理想的时间。
当然如果你想更确信，最好跑14天，如果你的流量比较少的话，你可能要跑更长的天数。然后你怎么得出结论，你就等这个置信区间收窄，窄到一定程度你就可以说ok，好了，可以上线了，或是可以下线了。
问：Facebook是如何做Ab测试的？
答：Facebook在发布新App的时候，会对未来几个月想做的做AB测试，那么是怎么做的呢，Facebook做了一套系统，gatekeeper和airlock，他是大概花了2年时间，40个工程师，借鉴了google的一些想法，又解决了移动端的一些问题。有了这样一套系统之后呢，他的产品上线的流程也深入的集成了AB测试，他在需求评审阶段就会产生各种各样的想法，各种各样可能的功能，各种各样的变化，然后交付实施，这些实施都是通过gatekeeper的方式上线的。也就是灰度的发布给用户，然后再用airlock的方式放流量进来，让一部分用户去尝试新的功能，只有那些好的功能才会保留下来，在下一次app改版的时候会正式的全面的发布给所有的用户。
而那些不好的功能可能就关闭， 不上线，然后再下一次迭代的时候除了会把上一次成功的版本全部发给新用户，还会添加一些新的实验进去。所以他每次迭代都是把新的实验发布出去，然后不成功的实验打回去重做，然后再加一些新的实验进去，这就是他每次迭代的流程。
问：Web产品页面优化可以用AB测试么？
答：当然可以，google天天在做，很过国内的公司也在做了，比如说携程也在做，
问：AB测试接入SDK是如何展开的？流量来源如何选择？
答：对于AB测试比较陌生的产品经理来说可能会比较糊涂，那么其实你接入了SDK，无论app还是网站，你接下来的事情就很简单，比如说你的一个新想法要上线了。你可以通过我们这个SDK可视化编辑，改文案，或者你的工程师可以把这个功能通过我们的SDK灰度的集成到上面，同样还是一个包或者一个网站，但是不是所有用户都会看到他，你想让多少用户看到他。
问：AB测试在生产环节是加白名单的方式还是直接测试环境上测试的。就是拿一部分用户试试看，然后再上线？
答：不是这样的，你说的这个呢是QA的模式，还是一种传统的方法，那么这种QA的方法就和传统企业一样，像微软一样，他先做Xbox原型，然后再让一些微软的同事或者测试用户试用，试用玩家觉得好，然后他再大规模量产，但这种方式是比较落后的。真正的AB测试这样一个强大的工具，它强大在哪呢？它强大到可以让所有用户来直接参与你的实验。比如说你有100万用户，你划1%就有1万用户会体验你这个新版，他们是精心筛选出来的，他们可以去尝试这个新版，他们产生的AB测试数据是可信的。他提升了5%就是你最后发布了就可以提升你所有收入的5%。
如果他下降了10%，那么你就不要让他上线，如果上线了，你可能有很大的概率带点来10%的损失，这就是AB测试强大或者黑科技的点，就是为什么google 把他作为秘密武器，我们希望把这个秘密武器变成一个常规武器给大家用。就是他不是那种拿一部分用户来试试看，然后再上线，这种方法是不行的， google也做过这样的实验，google做过一个产品叫google plus，社交产品，它给google所有的员工开放，发现数据很好，活跃很好， 比Facebook强多了，然后他发布给所有用户怎么样了呢？他连注册量都不够更不用说和Facebook比活跃度了。所以这就是AB测试的意义或者他强大的地方。
希望大家能够不断的实现自己产品的优化，实现增长。
本次分享PPT下载链接: http://pan.baidu.com/s/1nvrmv8l 密码: r5hy
往期【起点学院公开课】总结文章请往下看：
云家政CEO薛帅：丛林对决，透过云家政解读O2O行业生存法则
前LinkedIn高级总监张溪梦：6个步骤，学会数据驱动产品的秘诀（附PPT及思维导图下载）
8年运营实战总结，串讲运营知识体系的那些核心关键词（附PPT及思维导图下载）
前百度营销大咖三石：别只顾低头做事，这些错误的运营姿势，常犯你就shi啦
时代变了，设计变了，我们的思维要如何才能跟上变化
15页PPT，3大核心思维助你突破运营瓶颈
5个步骤，3个定位：做好不输杜蕾斯的社会化营销（附PPT下载）