策略产品经理基础知识需求挖掘之效果回归
⇨⇦
上周我们分享了抽样分析，一种很系统的需求挖掘方法，我认为无论是策略产品经理还是功能产品经理，都可以使用这套方法完成挖掘需求的工作。执行前，唯一需要确定的事情就是，业务或功能当前的核心理想态是什么。有了这个就可以进行需求挖掘和数据抽样分析了。本篇我们分享，策略产品经理特有的工作内容＂效果回归＂。
一、什么是效果回归？
我们先复习下上一篇文章的内容：
效果回归：贯穿策略产品工作的始末，它既是一个策略需求的结束，也是新需求的开始。因为策略产品经理的工作就是在不停的优化策略数据效果，所以效果回归即发生在开发成果验收和调优阶段，也会发生在策略上线后的数据分析阶段。从处理逻辑上讲和功能产品经理在需求上线前进行成果验收和上线后进行数据分析再次发起功能迭代的思路差不多。
所以依据这个逻辑，我们可以将效果回归分为两个阶段：
开发过程中的＂开发效果评估＂决定项目是否上线，怎么上线。
项目上线后的＂数据分析，实际效果评估＂，确认策略对用户体验是否有的正向影响，挖掘新需求。
二、开发效果评估
开发效果评估是策略产品经理的入门工作，为什么这么说呢？在本系列文章《什么是策略产品经理》中，我们讲过＂策略产品通过逻辑描述和效果示例表达产品实现效果，过程中可能需要多个算法逻辑并行，并涉及到很多复杂的变量＂。
在评估的过程中，策略PM需要针对RD开发出的模型，进行多维的结果测试，验证是否满足需求。经过验证可能算法、逻辑、条件都需要调整，而具体做不做调整，怎么调整只有经过效果评估才能知道。所以效果评估是策略产品经理必须要做的事情。
1.评估流程
通常情况下，策略需求开发的过程是这样的：
需求评审通过后，RD进行策略开发，开发完成后向PM提交结果进行效果评估，即送评。
PM进行效果评估，看是否满足目标效果。如果满足则上线，如果不满足则向RD提出问题点或包含改进意见。然后RD再次进行开发，开发完成后再次送评。
PM再次进行效果评估，满足目标效果则上线；如果不满足，那就要再次提问题点，RD继续开发，直到开发成果满足目标效果。
2.策略质量评估
第一篇《什么是策略》中，我们提过：策略的开始需要明确理想态。而理想态会针对业务的复杂程度，由多个相对独立的理想态组成一个复杂的核心理想态。参照这个逻辑，我们可以将一个复杂的核心策略拆解成多个相对独立的子策略，它们相互关联，一同服务于核心策略。
这是一个连带关系，也就是说当我们调整一个子策略时，核心策略的效果也可能会随之变化。这就需要我们在做开发效果评估时，即要针对单一策略进行＂策略质量评估＂，也要针对整体策略进行＂diff评估＂。
策略质量评估的评估标准由召回率和准确率组成。
1）召回率：代表策略帮你获取了多少，你需要获取的＂数据＂。计算公式如下：
召回率 = 目标数据中策略实际召回的数据量 / 目标数据的总量
2）准确率：代表策略帮你获取的这些数据，有多少是有效的。计算公式如下：
准确率 = 召回数据中有效数据的量 / 召回数据的总量
召回率和准确率之间是相对矛盾的。向召回率高，你就要增加更多有效的召回元素，放宽召回标准；但是元素多了的话，那准确率就会下降，因为想准确率高我们就必须收缩精细召回标准。
举例说明：以今日头条文章收录的策略为例：
大家都知道，头条有向全网抓取文章的策略。原理就是机器利用自然语言识别技术，通过分析文章标题和正文内容等部分中，分析被定义为某个属性的关键词和句式结构的所有量，给文章定类型，是军事文章还是社会文章等。很多时候，我们如果想扩充一个类型的文章量，就要增加相关关键词和句式识别的范围和收录标准。那这个时候就有可能会把机器认为是军事类文章而内容本身为其他类目的文章收录到军事类文章中。
例如：某人是军事类文章作者，他写了一篇二战时期各国将领八卦的帖子，文章会涉及到将领人名、国家名和战场名称。在召回标准宽松的时候，它可能会被判定为军事类文章，但实质这是一篇八卦闲文，那准确率自然就下降。
工作中我们需要针对不同的项目目标和要解决的不同问题，去分析本次主要是调整召回率还是调整准确率，并且找到二者之间的平衡点。
3.Diff评估
一个由多个策略组成的复杂策略，各策略之间是相互作用的关系。针对一个整体策略我们通常综合两个衡量标准进行评估，分别是：
Diff影响面：策略调整前后，数据在前台展示情况的变化程度。这个结果通过RD在完成策略开发后，就能跑出来。
G：S：B评估：即分析策略结果中good（有改进的部分）、same（无变化的部分）、bad（变坏了的部分），三类case分别的占比是多少。
举例说明：依旧用今日头条内容收录的策略。
军事文章收录策略调整后我们对1000篇文章进行识别，新旧策略识别后的对比结果如下：共有327个不同结果。其中，147个新策略识别为军事文章，旧策略识别为否；180篇新策略识别为否，旧策略识别为是。经人工比对，其中234个是新策略对，旧策略错。57个是新策略错，旧策略对。还有36个无法明确界定是否是军事类文章，暂定为same结果。
评估结果是：Diff影响面 = 新旧结果不同的327 / 总样本量1000 = 32.7% ；G：S：B = 234 ：36 ：57
如果PM觉得这个效果可行，那就可以选择上线了；如果不可行，我们可以针对bad数据再次细化识别策略，找出问题点，分析原因制定解决方案。
通常我们会发扬good策略，优化bad策略，放缓same数据。
三、效果回归
效果回归一共分为五步，依次是：
明确目标：即策略当前的理想态
建立考核指标：理想态相关的衡量指标
选择上线方式
依据考核指标收集数据
分析问题产出结论：有没有达到理想态，有的话还有没有改进空间，怎么改进；没有的话问题出在哪，怎么解决
1、2、4、5步，在上一篇《需求挖掘之抽样分析》第二节阶段性调研中有详细的说明，此处就不讲了，我们详细说明下第三步，选择上线方式。上线方式有两种可选：
1.全流量上线：
应用场景是策略调整只和本项目有关，即不存在子与子或子与母之间的策略关联关系，适用于独立策略或者是对整体策略无影响的单个策略的迭代。
当评估效果很好时，希望尽快上线拿到收益。满足以上两个条件即可使用。
2.小流量上线：即 AB test
应用场景是策略的调整会受到其他因素的影响，或者属于存在子与子或子与母之间的策略关联关系的个体策略时；或者策略上线后的效果还存在不确定性，需要进行实际的效果验证时。以上两个条件满足任意一条时，就适合选择小流量上线。
需要注意的是：为了更好的验证AB test的上线效果，避免其他不可控因素影响效果。我们可以在AB test正式上线前，先对已选好的测试端口抓取一部分数据，先分析两个端口的异同点。如果两个结果表现相同，则需要更换一个端口；如果结果不同，则可以上线进行测试。
到此为止，本文分享完毕。
下一篇我们分享《3.1策略需求文档的编写》，在这之后我会和大家一起回顾前五篇帖子的内容，即＂整理策略产品经理的工作流程和思考模型＂，到时6篇关于策略产品经理的学习笔记就算完成了。
策略产品经理学习笔记目录：
《策略产品经理学习笔记， 1.1什么是策略》
《策略产品经理学习笔记， 1.2什么是策略产品经理》
《策略产品经理学习笔记， 2.1需求挖掘之抽样分析》
《策略产品经理学习笔记，2.2需求挖掘之效果回归》