产品经理如何用数据驱动产品迭代
⇨⇦
出于种种原因，产品岗位会天然地带有主观性，运气好的话，感性与主观性能打造出不俗的产品亮点；运气不好的话，过度主观将给产品与用户带来不小伤害。那么我们该如何降低推理过程的主观性呢？笔者将告诉我们答案，详见本文。
撕逼天天有，每天都很多，产品经理的日常~
撕逼无外乎意见不合，本质上是因为推理出来的产品方案没站住脚，其他团队成员从个人角度剖析之后，有了其他想法，所以开始了这场撕逼。
产品这个岗位本就带有很强的主观性（同是微信，如果不合作，我不太相信马化腾和张小龙两位产品大佬会做成一个样子），因此俞军老师将其定义为社会科学，并非物理化学这种自然科学，存在固有的规律，所以一千个人眼里有一千个理想产品的样子。
那么我们又该如何降低推理过程的主观性？数据也许是不错的方法，因为它不撒谎。
以电商APP的下单流程为例，说一说如何用数据来驱动一次产品迭代。
一、发现问题
问题来源一般有两种：
1. 用户侧
这应该是最主要的问题来源，经过市场验证后的声音，用户反馈、用户调研和问卷等。
2. 产品侧
相比于用户侧，问题少一点，但也同样重要。
「解决问题」是公认的产品经理核心能力，但我认为「发现问题」同样重要，我们也要注意从产品侧主动发现问题。
用户的嘴可能不会follow heart，但身体却很诚实，然后在数据库留下了一系列言行不一的行为轨迹，我们从中可以发现当前产品的问题，甚至有可能发现颠覆你认知的用户表现。
eg：
*矩形高度代表人数
*百分比=从上一页面转化来的人数/上一页面人数
这是一款电商APP的下单路径转化漏斗，可以看出在详情页 → 下单页这个环节人数大幅下降，远低于其他环节的转化率，用户为什么进了详情页之后掉头就走了呢？
二、提出假设
无论用户侧还是产品侧的问题，我们得到的都是问题表象，需要找到可能的问题原因，然后依此提出针对性解决方案。
eg：
首先定位问题原因，提出我们的假设。
经过分析，认为当前的商品详情页的页面布局，无法突出商品价值，过于强调商品注意事项，导致用户未能真正感受到商品价值，反而被一堆注意事项吓退了。
接下来就要想解决方案，优化页面布局，突出商品价值，弱化注意事项，让用户放下戒备，放心购买。
三、确定评估指标
1. 指标类型
北极星指标
属公司战略级指标，基本由boss或产品高层制定，是长期目标，轻易不会变动。
方向指标
项目中的关键指标，用来衡量问题解决程度，与北极星指标正相关，也就是与产品大体目标一致，提升产品效用（对用户问题的解决程度）。
负面指标
项目中关键指标，用来衡量为了解决问题，而带来的负面影响程度，北极星指标负相关，与产品大体目标相悖，会降低产品效用。
注意：要提前设定好最差能接受的范围，就是这个负面指标跌到什么程度是不能接受的。
行为指标
非必需指标，大概就是某个页面的访问次数，按钮的点击率这种行为数据，基本用来分析背后的原因，不适合作为关键衡量指标（就是为了解决某个行为的问题的情况不算）
在项目中，通常用来衡量新版本上线效果的是方向指标和负面指标，北极星指标起到方向性作用，保证我们的大方向不会错，行为指标用来分析问题原因。
eg：
在这个项目中，方向指标是要将详情页 → 下单页的转化率提升30%，从而提升订单量，最终实现利润增长，经分析对北极星指标有正向作用。
但是呢，优化方案中放大产品价值、弱化注意事项，用户可能会被误导消费，没有看到注意事项就下单了，导致商品到手之后不满意，最终结果是退货率增高。当然，我们肯定不能接受用户买完都退货了，所以要设定一个我们能忍受的底线，经过分析后，确定能忍受的最高退货率为10%，超出这个值成本就cover不住了。
四、增加埋点
指标已经确定好了，接下来就要让开发哥哥埋点了。
从指标出发梳理埋点，想验证这个指标，需要什么数据来支持，直接拿实例说吧。
eg：
设计埋点不是一个简单事，其中有很多技巧，盲目埋点不仅有可能会数据污染，还可能造成不可逆的影响，比如2月5日增加的点击按钮这个埋点，你想看2月1日的埋点数据，抱歉没有。
举两个踩过的坑：
①转化漏斗不闭环
详情页 → 下单页的转化率=下单页访问人数/详情页访问人数，我需要计算出这个单一路径的转化率，我上面埋的是下单页的访问uv，这种情况下就需要保证下单页只有一个上级来源（即详情页）。
比如运营同学配置了一个banner，可以直接跳转到下单页，那我们想验证的指标：详情页 → 下单页转化率就会出现偏差，因为下单页的所有访问并不是都来自于详情页。
有一个常用的解决办法：不埋下单页的访问事件，埋详情页的购买按钮点击，因为点击购买按钮必定会跳转到下单页，以此来解决行为来源问题。
数据埋点要形成闭环，尤其是分析转化漏斗。
②数据结果不准确
比如有两种退货页面流程：
页面流程1：订单页（点击退货按钮） → 退货成功页
页面流程2：订单页（点击退货按钮），出现退货成功弹窗
如何拿到最准的数据结果？这个很关键。
在这个操作中，流程1比较好办，进入退货成功页说明一定成功了，所以可以用退货成功页的访问uv来判定退货人数，但是流程2没有了页面访问，点击退货按钮之后会发生两种结果（成功或失败），所以点击退货按钮立即上报埋点不是最佳方案，会把退货失败的行为也上报，这会导致数据结果不准，也是埋点中的一个坑，一定要和开发哥哥明确埋点上报时机。
有一个常用的解决办法：比如说前端埋点，上报时机明确为：后端返回结果为＂成功＂时上报埋点，＂失败＂不上报。
数据上报一定要准确，不能误报。
其实设计埋点是个技术活，除了这两个例子还有很多坑，之后打算专门写一篇如何设计埋点。
好啦，设计完埋点，写好DRD（数据需求文档），就等着市场的验证了。
五、分析数据结果
灰度上线 → 全网上线，是常见的上线策略，因为特殊考虑等原因直接全网上线的就不说了。
1. 设定实验组和对照组
灰度开放的用户量不宜多大或过小，因为新版本的体验好坏是不确定的，不同业务会有不同考虑，通常是以能验证结论，又能最小程度干扰用户的程度为标准。
这个灰度开放的用户量，满足统计学上样本量的置信度即可，网上有很多下图这种计算器，直接用就好了，不用专门学统计学。
样本量计算器
灰度开放的用户中选取用户作实验组，老版本用户中选取用户作对照组。
具体的选取方法要灵活，就像我们上学时候的一种物理实验方法-控制变量法，不同的实验目的，要控制不同的变量，根据控制的变量选择合适方法。
eg：
我要验证两组用户在详情页的行为，所以我随机选取灰度开放中访问详情页的n个用户，定为实验组，再随机选取n个老版本中访问详情页的用户，定为对照组，观察分析这两组流程转化率。
2. 分析验证指标
项目指标：方向指标和约束指标
从实际表现来看，方向指标虽然未达预期，但也起到了较好的效果，大幅提升了详情页 → 下单页的转化率，但是！但是！但是不要着急，这并不代表这一定就是正向的解决方案，我们还要跳出项目本身，看一下整个产品的指标变化，不能因小失大呀。
产品指标：北极星指标
北极星指标可能回报期比较长，比如利润还要等合作商家的回款才能提升，所以北极星指标可能会存在延迟变化，我们有时候也要提前考虑到这个特性，避免我们错误认为一顿操作猛如虎，一看战绩0-5。
项目指标表现很好，但是产品指标不一定会表现好，需要我们全局来看。
比如我优化的是儿童电话手表品类的详情页（不同品类的详情页会不一样），家长都给孩子去买儿童电话手表了，导致儿童手机品类卖不动了，由于儿童手机客单价远高于儿童电话手表，导致产品整体利润下降了，产品指标倒退，也不是没有可能啊。
所以，一个项目上线之后，不仅要分析项目本身的ABtest结果，还要考虑产品大盘影响，项目指标和产品指标都要兼顾到。
项目指标和产品指标是我们在设计方案时就想到的，但现实就是这么有意思，经常会给你surprise~冒出来你意料不到的数据波动，还是拿例子说话~
比如实验组的用户流失率要明显高于对照组，这是之前我们没有想到的，这时候就有可能用上我们之前说的行为指标，来辅助我们分析原因。
首先要知道：数据会告诉我们怎么了，不会告诉我们为什么。
我们观察用户行为后发现：大部分流失用户最后一次操作都是查看退货进度，那我们就可以提出假设：用户是因为退货率增高导致流失率的提升，因为用户退货这件事是比较挫败的（甚至是对平台不满意），导致对产品的满意度和好感直线下降，然后流失。假设是否正确，就需要通过用户调研等手段再去验证了。
所以，除了可预期到的指标外，还要注意从天而降的其他指标波动，及时找出波动原因。
关于上线策略，有两个注意事项：
1.灰度时间不宜过长，尽快得出实验结论，避免新版本负面效果影响用户；
2.如果条件允许，保留一小部分老版本用户，即不完全全网开放，因为灰度上线时间较短，新版本用户可能会因新鲜感而表现出了正向的数据结果，但从长期行为来看不一定优于老版本，所以留一小部分老版本用户作为对照。
因为互联网产品具有大数据量和快速迭代的特点，所以产品经理在懂用户和业务之外，利用数据做好ABtest非常重要，快速试错和调整，做到小步快跑。
六、最后总结一下，数据驱动产品迭代的步骤
发现问题
提出假设
确定评估指标
增加埋点
分析数据结果