新功能上线后,如何全面地进行数据验收?

新功能上线后,如何全面地进行数据验收?

时间:2020-4-20 作者:抖音代运营

新功能上线后,七十九度一般会对新功能进行数据验收及汇报,以验证数据效果及指导下一步的方向。那如何全面地进行数据验收呢?

笔者认为,做好以下四点即可:

  1. 上线前设计客群分组;
  2. 设计数据指标体系;
  3. 上线后对比验收数据;
  4. 分析数据原因及未来规划。

一、上线前的准备

1. 设计客群分组

设计实验组与对比组的作用是控制变量,保证数据验收的客观性。

1)实验组要求

除了新功能这一个变量,其他的变量尽量与对比组保持一致,其他变量包括时间、渠道、用户状态等。客群数量方面,要足够说明效果(一般需要1万以上的客群)。

2)对比组要求

没有新功能的变量,其他变量与实验组保持一致。客群数量方面,如果数据验收受客群数量影响,则实验组与对比组的数量要基本一致。

3)分组切量方法

如果仅是上线了一个新功能,需要新版与旧版进行对比,可采用灰度方法,通过控流开关实现控量分组;如果是要做多个方案的对比测试,则可采用A/B测试方法,通过接入吆喝科技实现(如果开发资源充足,当然可以自己开发A/B测试功能)。

2. 设计数据指标体系

1)确定业务目标

比如提升某个功能的转化率、提升某个业务的收入、提升功能留存等。

2)按用户路径拆解数据指标

用户数据:功能入口的流量、用户分群等

行为数据:每个环节的行为转化数和转化率,例如功能使用的用户数、功能点击率、付费率等。

业务数据:付费人数、收入、千次曝光收入等

3)数据指标再次细分

以上拆解的数据指标,为方便后面的深入分析,还可以按用户属性或事件属性再次拆解。例如按用户属性拆解,借款产品则可区分授信通过户、授信拒绝户;按事件属性拆解,区分登录方式、区分渠道等。

3. 提供埋点

1)埋点规范确定:埋点组成是页面+操作+区分类型的字段

2)前端埋点和后端埋点:结果性事件一般前后端都埋,包括成功事件、失败事件(失败还要埋失败原因);过程性事件一般是前端埋点。

3)上报时机确定:大多数埋点的上报时机是比较显而易见的,所以文档里可以不用强调,比如曝光、点击的埋点。但是像上报时机有多个的情况,则需要跟开发明确。比如失败事件,是后台返回失败才算失败,还是前端抛出失败提示就算失败。

二、上线后的观察与分析

1. 对比验收数据

1)上线后对比数据是否符合预期

同期对比:实验组与对比组同期整体对比,看分组的业务数据提升或降低效果。比如看某个功能的转化率或某个业务的千次曝光收入等。基本上从同期对比就可以得出,新功能对业务指标是起到正向还是负向的影响。

前后对比:已经有同期对比了,前后对比还需要吗?答案是某些场景下需要。因为同期对比一般来说,需要开发做灰度切量的功能支持。所以如果新功能效果是显而易见的,且灰度功能做起来比较耗资源,我们可以选择上线后全覆盖,通过前后对比来看数据效果。

2)上线后分析新功能是否带来长期价值

一般来说,新功能只要看是否满足业务目标就足够了,但是我们还需要关注长期价值。一个好产品需要具备对用户有效用、对企业有收益、可持续这三个属性。

所以我们还要放宽视角,关注新功能的精准留存。如果用户有持续使用新功能,那说明新功能具备长期价值,值得继续深挖;如果用户只使用一次新功能,那说明我们对需求把控没有到位或新功能没有很好地满足用户需求。

3)上线后探索新功能的更多可能性

除了看新功能是否符合预期、是否具备长期价值,还可以详细分析新功能本身的数据,得到下一步优化的方向或获得需求洞察。

比如用漏斗分析看每一步的转化率,分析漏损在哪里;比如分客群看使用新功能的情况,分析哪个客群是新功能的核心客群;比如看用户使用新功能的频率和时间分布,分析用户对新功能的使用习惯。

2. 分析数据原因

一般来说,分析数据背后的原因,分为客观原因和主观原因:

1)客观原因

由于改变客观环境,带来的数据变化。比如缩短用户操作路径,减少用户操作;优化页面布局,使主要功能更聚焦;优化性能,提高接口返回数据速度,降低失败率;增加场景,提高曝光从而提高收入等。

2)主观原因

由于改变用户的主观意愿,带来的数据变化。比如增加奖励刺激,提高用户参与欲望;优化素材投放,提高用户点击欲望;客群本身的质量原因等。

3. 制定后续规划

根据新功能的数据结论及原因,确定接下来是要继续优化还是改变方向。继续优化一般是继续保留新功能,下一步计划是放量或优化后放量;改变方向是现有功能没有符合预期,但是从现有数据获得新洞察,可以换个方向尝试。

 

作者:狐檬,具有千万级互金产品和运营经验。微信公众号:小狐学产品

028-84360888 13608068886(推销勿扰) 发送短信