优秀产品经理如何精准发现问题下效果回归与阶段性调

　　产品经理的核心只有一个，那就是发现和解决问题。我们往往更加关注解决问题的方式方法，而忽略了发现问题的能力。
　　一、效果回归与阶段性调研概论
　　1. 效果回归与阶段性调研对产品生命周期的意义
　　判断和决定产品循环是否终止
　　确定产品接下来的计划
　　2. 对自我成长的意义
　　验证解决方案的可行性
　　修正和巩固自身的方法论
　　3. 概念：阶段性调研是针对产品现状进行的系统性分析
　　此时的分析结论最能代表产品问题全貌，可以有效指导下阶段的产品计划
　　二、阶段性调研的时间节点（在什么时间会进行系统性的阶段性调研）
　　接触新产品：接手一个新的产品或者产品方向时，对产品进行深入的了解
　　周期性回顾：每个月/季度/半年进行定期的周期性回顾
　　不定期（突发性）回顾：领导、政策上的调整需要
　　三、阶段性调研通用方法论（普适，也适用于人生）
　　定义理想态——拆解未达理想态的短板——提出解决方案——验证是否解决。
　　阶段性调研更关注前两个环节：
　　step 1：找到理想态，定义理想态并以数字化的指标或其他标准来衡量。
　　这是一个非常严谨的定义过程，需要PM 明确的知道自己产品的目标是什么，是各个部门共同努力的方向。
　　step 2：抽样分析，将所以不到理想态的case抽样分析，通过分析明确各case未到理想态的原因。
　　step 3：优先级判断，将所有问题进行汇总，根据影响面、问题严重程度、解决问题所需成本进行优先级排序，作为接下来的项目计划。
　　1. 找到理想态详解
　　（1）如何找到理想态
　　任何一个产品都用来解决用户的问题满足用户的需求，所以产品的理想态可以统一的理解为：给出的方案确确实实解决了用户的问题，比如用百度查到了自己需要的信息，用滴滴到达了目的地，用头条找到了自己感兴趣的内容并消费了时间。
　　接下来要找到能衡量理想态的数字化指标或者明确的标准：
　　A. 滴滴：容易理解，使用订单成交率可以衡量用户是否到达目的地
　　B. 墨迹天气：使用天气准确率可以衡量用户是否获取了正确的天气
　　以上为刚需类、工具类产品中的策略模块，通常可以以＂解决了用户的问题＂作为理想态，并找到一个标志性的数据指标来衡量是否到达理想态。
　　C. 百度的搜索满意程度
　　点击率：高点击率不能说明满意，低点击率也不能说明不满意（搜索时间）。搜索结果是平台对满足大多数用户的你内容猜测，并不一定适用于每一个用户，比如在饿了么搜索麦当劳，展示所有麦当劳店铺即可，而在搜索引擎显然不能这么简单。
　　头条：不能确定停留时间为多长则表示用户对产品满意。
　　搜索：对这种产品的理想态描述较为复杂，并不明晰，更别说使用单一指标了。需要pm基于对用户的理解、参照竞品，比如搜索完肯德基创始人再搜麦当劳，那他很可能想搜麦当劳创始人。
　　通常这种复杂的产品，会以平台当前能够给出的最佳产品方案（PM以为最合理的状态） 作为理想态，而不一定能够100%满足所有人的所有需求。
　　推荐：平台是在有根据的猜测有用的非岗需求，永远不会清楚的知道最标准的答案时什么，所以同样以当前能够给出的最佳产品方案作为理想态。再用策略推荐出的结果在所有推荐候选中是否为最佳结果、用户行为指标作为发现问题的辅助手段。
　　注意：所有的理想态都是为阶段性产品目标服务而服务的，随着产品的发展，理想态的定义也在进化甚至质变，比如从马车到汽车的道理。
　　再比如滴滴：
　　刚开始做出租车，以司机的应答率作为核心指标，不太关心司机应答后的流程；后来做快车专车，有了更完整的使用环节，覆盖更完整的出行流程，这时以订单的成交率作为指标，监控用户从叫车到目的地的完整闭环；接下来可能会往快速到达方向进步等。
　　再比如百度：
　　刚开始，致力于用户所搜索的每个关键词都能有对应的结果；有了用户行为的反馈之后，变会对一个用户进行用户画像，从而满足每一个人的每个搜索，致力于提高每次搜索的满意度。
　　2. 抽样分析
　　正因为成本问题，时间成本、运算能力分析，使我们无法完全了解每个用户，所以采用抽样分析。样本通常被称为case。
　　（1）抽样步骤：确定调研目标 → 确定抽样对象 → 选择抽样方法 → 确定抽样数量 → 样本分析标注 → 整理汇总问题
　　调研目标决定了抽样对象和抽样方法，根据目标确定抽样对象的维度（用户、订单等），抽样方法有随机、等分等。
　　首先要明确调研的目标，帮助确定抽样的对象的方式！！！
　　案例：分析＂相关视频＂推荐策略的问题 → 抽取推荐视频列表，看内容和排序是否合理
　　分析以上模块红广告视频推荐策略，如果抽取当前展现出来的广告视频进行抽样分析，则会出现问题：只能分析出当前展示的广告的准确率，而不能分析出广告的覆盖程度，是否有其他适合展示的广告的视频下方未进行展示。而相关视频则没有覆盖率的问题。
　　所以要确定正确的抽样对象，同时满足准确率和覆盖率（召回），以上案例应该在有广告展示的地方调研准确率，没有广告的地方调研覆盖率。
　　（2）确定抽样对象：通过一定规则筛选出的待分析的全量集合
　　不考虑成本肯定是全量调研，但是成本有限就需要抽样。
　　筛选规则：
　　未达到核心指标（一定规则，比如只需筛选当前版本的用户而不需要筛选上一版本的用户，或者可以代表一个用户生命周期的用户，比如有循环效应的产品，用户每天的行为没什么差异，则选取一天的即可。有明显时间效应的，周末和平时不一样，则需要对一整周进行抽样）
　　样本类型：用户个体、行为片段（用户的行为动作session，翻页、点赞、浏览等，代表一个用户带着场景和需求在自家产品上的完整流程）、搜索词（query，抽样搜索词调研满足情况）、订单（订单的完成情况、订单后的推荐等）
　　案例：滴滴订单成交问题
　　取样：全国一周内（明天的周末效应，取一周为一个周期）内所有未成交（未成交、差评重点关注）的订单中抽样。
　　案例：美团搜索问题
　　取样：因为无法直接通过数字性指标精准筛选，所有只能从一天的全量用户session中抽样，然后人为进行进一步筛选
　　（3）选择抽样方式：常用的抽样方法是随机抽样
　　随机抽样：从N个单位中任意抽取n个，每个样本被抽中的概率相等，适用于大多数场景.随机抽样也有很多细分方法，不再赘述。
　　选择抽样数量：统计学角度，样本数越大越好。
　　统计角度，样本数量越高越好，结果的准确率就会越好，但是调研成本也会越高，所以调研成本是精度和成本的balance，有统计意义即可。
　　经验值：一般问题：尽量使代表某个问题的样本数量≥5，或者影响面≥3%即可。
　　样本标注分析：对抽样的case进行过逐一分析
　　人工对每个case进行分析，太过于细节，不再赘述
　　整理汇总问题：按照合理的逻辑框架进行整理汇总，普适
　　上下层级：总分关系
　　同层级之间：相互排斥不重叠，不遗漏
　　3. 优先级判断
　　单位成本下的收益从大到小即优先级从高到底。
　　单位成本下的收益：ROL=项目收益/项目成本
　　当ROL相同时取绝对20天内收益绝对值更大的那个，同时兼顾影响面、恶劣程度、国家政策等（也就是较为常见的四象限判断法）
　　计算方式：
　　项目收益：待解决问题影响面（调研结果直接得到，百分比）*解决后体验提升程度（现阶段与理想态的差距）*预期解决比例（由开发给出，解决之后可以解决到什么程度）
　　项目成本：一般指研发成本和硬件等成本
　　优先级判断很重要：直接决定后续的产品计划
　　至此，阶段性调研的方法论已全部完成。