您现在的位置是: 首页 > 新闻频道 > 财经 >

增长实验是非常重要的驱动增长的方式

  • 2020-07-07 10:10:26

增长实验是非常重要的驱动增长的方式。它的作用是验证产品、运营动作与增长数据之间的因果性。当提出一个方案后,可以通过A/B测试的方法来验证这个方案是否能够真的驱动产品增长。

一、增长实验全流程

当你想通过增长实验寻找增长爆发点时,往往会出现以下三种情况:

情况一:团队缺乏快速实验、快速迭代的思维。通常做项目时,决策全凭经验及主观判断,一旦决策就直接实施。这会导致团队盲目执行,很容易出现做项目时,消耗大量时间成本,但最终效果没有达到预期,甚至出现业务数据下滑的情况。

情况二:团队有实验的思维,但是缺少做A/B测试的正确方法。虽然团队大力推行增长实验-A/B测试,但很快会发现,从0到1推行A/B测试需投入大量人力和时间成本,还易出错。实验如何设计?如何配置样本?如何正确看待实验结论?如果没有正确掌握这些方法,就会发现自己推行的A/B测试并没有提升公司的效率,最终演变成了走形式。

情况三:已经掌握了做A/B测试的正确方法论,但是效率低。很多公司或部门一年做的测试实验甚至还不到10个,试错速度太低,就使A/B测试的效果大打折扣。

1. 增长方法论的核心思维

利用经济杠杆原理推测和假设出适合产品增长的爆发平衡点,通过不断的实验验证,得出准确的爆发点并加以放大,最终达到产品增长的效果。本文将着重分享如何通过增长实验来验证增长假设。

通过制定北极星指标并构建增长模型,找到现阶段关于增长的聚集领域,对这个聚集领域进行中长期(30~120天)的增长验证。找到增长聚焦领域是增长实验效果最大化的第一步。因为当你集中火力攻破产品中一个聚集的切入点时,会对这个点的洞察进一步的剥丝抽茧,无形当中会有更深一层次的认知。

2. 增长实验流程

第一步:产生实验想法。

从聚集领域出发,产生高质量的实验想法。通过从数据中通过洞察的方式,来帮助提高实验的成功率。从而形成一个比较清晰的实验假设。以及形成一个实验想法库。

第二步:确定优先级排序。

针对实验想法库中各种想法,通过排序模型进行实验优先级排序。

第三步:设计增长实验。

有了具体进行实验的想法后,进行细化变成一个可落地的实验方案(开发PRD)。这一步主要是讲述制定实验指标,确定实验受众以及设计实验版本,避免遗漏影响实验结果的重要方面。

第四步:实验开发上线。

制定数据埋点后,开发实验并上线后可根据埋点数据清晰衡量实验结果。

第五步:分析实验结果。

得到结果后,如何通过系统性方法分析实验结果,评估实验结果的可信性并得出可信结论,并放大该结论的实验影响。

二、产生实验想法:明确实验目标

从聚集领域和用户业务问题本身出发确定实验目标,并通过多种数据分析方法从数据中寻找可以形成合理实验假设的依据。从而产生高质量的实验想法。

第一步:明确实验目标

大多数人可能在增长实验刚开始时就找错了出发点,往往会以自身想法出发考虑产品的可能存在的问题,比如某个页面设计难看、某个功能,老板说要改等。这类想法过于主观,以至于整体实验立于错误的出发点,导致了实验失败。正确的实验出发点,应结合产品现阶段的用户特征和业务问题进行思考和总结可能存在的问题。比如用户下单完成率低,应如何解决?用户反馈这个业务流程过于繁琐,应如何改善等。

第二步:寻找数据依据

从数据中寻找假设依据,是产生高质量的实验想法的关键。所谓高质量的实验想法,就是经过实验验证后,这个实验想法的成功率高,实验指标提升幅度大。通过数据寻找洞察形成高质量假设主要可以通过以下步骤来实现。

步骤一:从三类数据中寻找证据支持假设

我们通过定量数据、定性数据、实践案例中寻找证据支持假设的真实性。三类数据所能提供的证据类型是不同的,

根据实验类型,从上述三类数据中寻找证据支持假设。

定性分析案例:电商有货APP提升销售额

最佳实践案例:饿了么下单促销页通过LIFT模型提高转化率

影响LIFT模型的六个因素:

步骤二:通过数轮数据分析提升假设质量

通过定量数据、定性数据、实践案例中找到多个初步假设,此时我们可以通过多轮的数据分析,排除掉不靠谱的假设,找到新的证据支持某些更有力的假设,也可能通过分析找到新的假设,提升假设的质量。

第三步:形成实验假设

先通过一个案例来分辨一下什么是清晰的实验假设。

从上述假设就可以发现,一个清晰的假设是实验成功的基础前提。

实验假设的输出标准:

产生实验想法时的两种常见状况:

可能对实验并没有好的想法,这时候可以通过团队的力量来推动实验想法的产出。比如:

团队已经有很多想法,需要对这些想法进行优化。可以通过实验想法库来进行管理。

三、优先级排序:ICE模型

1. ICE模型概述

ICE模型通过将大量的实验想法放在影响范围(Impact),成功概率(Confidence),实现程度(Ease)三个维度下进行粗略的评分,得到增长实验假设的优先级进行排序。

ICE 各项指标的打分依据:

案例:ICE 模型打分表

从上述打分,可以得到「酒店详情页加入“全网最低价”的文案提醒」这个实验想法的优先级最高。可以优先进行增长实验。

2. 扩大影响范围

大多数实验都没有覆盖足够的用户,绝大多数核心产品团队只关注核心用户。然而

因此如果仅关注核心用户,那么实验的影响力会十分局限。所以扩大增长实验的影响力的本质就是尽可能的覆盖更多的用户。在这里我们可以通过主动扩大群体覆盖面,关注非核心用户和从流量高的页面或路径进行多次实验的方法扩大实验的影响范围。

3. 提升实现程度

提升容易程度即降低实验成本,最好的方式就是通过 MVP的方式以最低成本验证实验假设。而设计增长实验MVP时需要考虑如何投入最小资源,最快证明实验假设。实验是否可以提供可信的有效的结果,不能因为过度的实验简化和成本缩减而影响了实验的可信有效程度。

案例:通过 MVP 验证实验假设:根据不同的用户画像,制定个性化注册流程。更好的满足用户需求。

这里要注意的是ICE模型仅仅是一个优先级排序的参考框架。并不是一门绝对精确的排序算法。不要消耗太多的时间成本去追求完美,而要不断的提高实验频率和次数来确保实验性价比。

Top