如何检验产品升级的长期影响

　　当产品数据增长的时候，增长团队（Growth Team）为实现短期增长量，对产品进行的过度优化是一个潜在危险。增长团队（Growth Team）工作节奏极快，在Pinterest也不例外，我们总是要在给定的时间内进行大量试验，发现行之有效的方法马上推出，然后进行下一步尝试。但有时候，产品需要我们退一步验证某些新调整或者功能的长期有效性，排除短暂的虚假繁荣，确定它们能够让数据可持续的增长。这篇文章，我会介绍Pinterest的增长团队（Growth Team）是怎样优化产品的。
　　去年，我们将所有的推送通知，包含在了Pinterest图标的数字角标提醒中。对许多用户来说，当一个App的图标上有了数字角标，那种点开它将角标消除的冲动是难以抑制的。
　　Pinterest
　　与Pinterest其他产品升级一样，发布新的数字角标提醒的时候，我们使用了A/B测试方法，最初得到的结果不可思议，图标上小小的数字带来了7%的日活跃用户增长，以及其他关键交互项指标（如Pin close-ups、repins、Pin click-throughs 译者注：以上为Pinterest产品中的功能项）的重要提升，在这些漂亮数据的激励下，我们很快将这项调整应用于整个产品。但是，关于角标提醒的效果能否长久的问题让我们感到不安：这些小数字会长期有效吗？用户会不会最终疲于点击，进而对角标产生免疫力？
　　为了回答这个问题，我们创建了一个1%保留样本群（holdout group）。保留样本试验是A/B测试的一种，我们在99%的Pinterest用户中推出新功能，保留1％不做改变，以便于估量调整的长期影响。对于任何长期效果存疑的特定功能，我们都会专门保留这样一个1%保留样本群。
　　保留样本试验（holdout experiment）持续了超过一年的时间。几个月之后，最初7%的日活跃用户增长量稳定在了2.5%。去年秋天，我们发布了新功能——Pinterest News，是用户在Pinterest上关注的其他用户的最近动态摘要。我们同样将Pinterest News的提醒增加在数字角标中。结果，Pinterest News又将之前稳定在2.5%的日活跃用户提升到了4%。‌
　　数据
　　此外，我们还发现数字角标对提升用户活跃度卓有成效。Pinterest的用户分为核心用户（core）、普通用户（casual）、边缘用户（marginal）等几个类别，我们发现，角标提醒对边缘用户向核心用户或普通用户转化的数据有着显著影响，在数字角标可以长期维持用户被证实之后，这一发现让我们再次兴奋不已。
　　用户数量变化
　　作为一个有效手段，保留样本试验（holdout groups）保证我们的努力是为了数据的长期增长。它还被应用于广告、用户教育等功能。总的来说，保留样本（holdout groups）应该在任何长期影响存在疑问的产品升级中使用。在数字角标这个例子中，我们通过它了解Pinterest用户长期使用角标的反应，这将帮助我们在通知战略中更进一步。