《开心消消乐》背后的数据驱动经验 数据分析还有很大的操作空间。整理/黄志松作为休闲三消赛道的有力竞争者，乐元素依靠旗下《 开心 消消乐》《海滨消消乐》...
来源：雪球App，作者： 游戏葡萄君，（https://xueqiu.com/1058212218/193793775）
数据分析还有很大的操作空间。
整理/黄志松
作为休闲三消赛道的有力竞争者，乐元素依靠旗下《开心消消乐》《海滨消消乐》等“国民级”休闲消除类游戏，做到了月流水和MAU均过亿的成绩。除了找准品类赛道外，这一成绩的获得也离不开他们重视与数据结合的长线运营。
7月29日，乐元素AI、BI团队的负责人陈煜华，在数数科技联合游戏葡萄举办的「数造爆款·2021年游戏数据驱动大会」上，分享了乐元素多年来对于游戏精细化运营的理解与实践。
当前，许多游戏厂商都在探索一条利用数据精细化运营的道路，如果你和你的团队在这一块还有所困扰，或者想尝试其他的游戏运营方法，那么来自乐元素团队的经验分享，或许能够帮到你。
以下为经整理后的演讲实录：
平时，我们会收到不同业务部门各种各样的问题：哪些用户流失了？关卡难度能不能调整？能不能快速给我数据反馈？作为数据分析部门的成员，我们会对这些问题感到头大。
游戏行业中，用户在游戏内行为的复杂度高，包括点击、用户路径、用户留存、玩法等。与电商类平台相比，用户在游戏 APP 内的时间与行为路径更长。
因此，游戏策划使用数据分析时会面临很多挑战。如设计活动时，活动内的排行榜或竞技榜哪个有用，多种游戏签到形式下哪种真正有效，参与人数多。策划和运营会对这些功能的可用性产生很大的困扰，并提出很多问题，因为他们不能直接操控数据和查数据。
所以，策划和运营就会发出很多数据需求邮件。为了快速响应数据需求，我们需要借用数据分析产品，提高游戏策划的自主性，并形成自己的分析体系。
经过几年的游戏数据分析经验总结，我们将数据分析框架总结为四点：
1.目标管理
2.游戏分析
3.数据科学
4.智能干预
01
目标管理——制定拆解预测跟踪
游戏运营的时候，外部干扰很容易造成数据波动，原因可能是策划考虑不周全，漏洞没有及时发现并修复，或者用户满级了不想玩了等等。这时，数据分析部门会很被动，因为他们需要去查所有数据，看看哪些数据发生了变动，然后再去细看游戏内各个功能模块里发生的明显波动。
有时候需要花两三个星期才找的出来，有时候却找不到。我听说有一个游戏，数据发生波动以后，花了两个月才定位出发生波动的功能模块。
因此，我们需要建立自己的目标管理体系，来帮助我们分解运营游戏业务目标，明晰责任监控，甄别数据波动主要原因。
首先，我们会拆解目标，并建立一个目标管理体系。工作室定义目标后，分析师会帮助业务进行目标拆解，转化为可实现的目标分块，在运营过程中，我们再跟进目标实现，最终进行业务复盘。
在跟进的过程中，因为已经拆解了目标，所以我们能够分清各个游戏部门团队监控的责任范围，并及时发现数据波动的主要原因。举一个例子：这是我们为一个游戏做目标拆解的时候，做的框架图。
我们会把游戏的最终目标——DAU，ARPU及游戏流水的预估分平台拆解，然后再看用户的新增质量、留存、不同的付费层次。把这些拆解下来以后，就可以制定这样一个报表。
为了达到最终目标的数据，我们把最终目标拆解成不同模块后，还可以定义相应的指标来跟踪。经过几个月的运营后，业务团队就能根据数据判断原先设定的目标是否已达成，未达成时应该进行哪些相应的调整，跨部门之间针对目标结果也能进行及时沟通。
如果最终目标是用户新增，那么跟渠道跟买量肯定是有关系的。在这种情况下，我们的最终目标如果出现了波动，就可以去快速定位，渠道与买量中的哪个子目标出现了波动，并进行相应的业务调整。
02
游戏分析——专题分析&系统优化
但是，如果有的业务目标要对新用户进行核心提升，那么数据分析在新用户或者是某个关卡模块层面上的分析，应该要做到什么程度呢？
这就涉及到我们对游戏分析进行的沉淀和优化。专题分析与系统优化的核心目标是评估游戏功能与质量，挖掘优化方向，做完分析之后，我们要知道每一个功能模块，做得好还是不好？不好的点在哪里？把这些点告诉游戏策划后，他能够做什么样的优化和改进？
但是优化也包括引导、数值、玩法机制以及游戏各系统的联动等方面，很多游戏功能模块，都是好几种概念、玩法、艺术、创意融合起来的。所以从数据分析的角度来看，还真不知道里面哪一个有用，哪一个没用。
我们也发现，之前大家在做数据分析的时候，只看DAU、收入、留存等数据，其实这些数据跟自己的游戏项目关系不大，因为每个游戏都可以看这些数据。
这时我们对数据分析进行了模块定义。从游戏底层来看，游戏实际上是由游戏系统、核心玩法组成，底层之上，有等级养成、剧情、偶像成长等成长体系。结合玩法和成长体系，用户会在游戏里，展现出他对游戏的热爱。这时候我们就会发现用户人数和时长的分成，呈现正/倒三角形的形状，经过经济系统、资源逆转后，用户人数与付费额的分层，也呈现出正/倒三角的形状。
因此，我们在做游戏分析的时候，要时刻去思考不同的成长体系和玩法结合起来后，有没有从底层往上层，有效转化用户的时长和付费额。
上面是我们给一款游戏做游戏分析的时候产出的报告，它的目录结构是这样的：
第一，我们会先整体评估这个系统的ROI做的好不好，这个系统的产出是正向还是负向的？
第二，我们会进行核心模块的诊断，诊断出它是参与问题，还是机制问题，还是数值、剧情的问题？
第三，我们会给出相应的优化建议，我们要求分析师在做分析的时候，画得清楚数据的资源流转，并在最后给出策划、工程师都看得懂的调优和建议。
03
数据科学——AB实验&自动化分析
有了系统优化以后，我们会想，数据分析的同学能够找出这些游戏的优化建议，但是游戏策划应该接纳哪一条建议，他们又怎么去快速验证这些优化建议？
因此就有了第三步，做A/B实验与自动化分析来加速游戏测试试错。
数据科学的核心目标是提供深入的自动化分析，帮助业务快速迭代产品。实验上线后，我们最想知道的核心问题是，实验的整体效果是什么？产生效果的机制和路径是什么？得到结果以后，能不能基于信息做效果提升？效果提升后，再去优化实验方案、优化功能，进行下一步迭代，然后让业务走向正循环。
当然，这同时也要回答，当我们做游戏各种功能、内容、创意等能够帮助策划去理解的各种机制时，哪些是好的，哪些是不好的。
为了高效解决这个问题，我们建立了一个能够在做A/B实验过程中，自动给策划提供在闭环上涉及到的数据反馈的分析平台。我们可以对比一下，人工分析和自动化分析之间的差别。
人工分析需要人力，容易出现人为错误，也很难管控分析口径的统一，策划和分析之间的沟通成本也比较高。另外，分析师要培养出深入的分析模型使用能力，需要不少时间。上了自动化分析之后，我们能够快速获取数据，精准定位结果，让策划自主高效地配置分析报表，并且能够自动提供深度的分析结果。
之前我们的实验周期至少需要3周，现在策划自己上了A/B实验后，当天就能看到数据结果，也能够发现游戏里他们意想不到的用户行为反应，并快速定位系统的提升方向。现在项目组每个月做的实验数量，也得到了8倍提升。
拿用户量较多的《开心消消乐》来举例，这款游戏上线之后，一些重要指标发生了波动，我们会用红色、绿色的标记帮助业务快速看出，付费和在线时长等关键指标是否会出现预期的结果，一些衰减的指标，是需要业务去长期观察的。
以前策划会等业务会议的时候，提一些手工爬数据的需求，然后隔三差五地进行数据分析，但现在策划每天登录产品关注它就可以了。
有了效果以后，我们会去思考，这些效果对所有的用户都是一样的吗？
并不是，很多游戏的大R用户、小R用户、低时长用户、高时长用户，他们喜欢玩什么、或者做什么活动，都是不一样的。游戏策划、分析师提出的优化建议，很有可能只代表在众多类型的游戏玩家里面，一类玩家的优化建议。
那么，有没有办法能够在实验的分析结果里面，自动找出有提升效果的用户和非提升效果用户？
这时候我们就可以用营销增益分析，它结合了因果推断和经济学习的算法，再结合用户画像标签，来根据实验效果自动分析出有效用户和无效用户，数据分析再也不用去人工实现用户分层。
这里是我们运用A/B实验的产品案例，整体上来看，用户留存不明显，有的用户是正向的，有的用户是负向的。这个游戏优化的idea，其实只对这一批用户有用，并不适合所有用户。所以我们可以只干预这一部分用户。
这些可以帮助我们精准找到有效用户以及无效用户的需求，也可以让策划去思考，哪些方案对有效用户、无效用户有不同的结果。
但是把用户分清楚之后，策划可能又会提出问题：我觉得这个方案应该对所有的用户都有增强效果的，为什么对这一大批用户是负向效果呢？
这时候我们就可以用另外一个方法论：中介分析，从用户的路径入手，找到我们的干预在路径的哪一点产生了很大的影响。比如干预方案上线以后，我们发现用户活跃提高了，但用户看激励视频的次数降低了。实际上，我们也没预料到这种情况。
有了信息反馈后，策划在做这个功能时，就需要考虑激励视频和收入之间的权衡，并细化调整功能。也许我们可以减少这个功能与激励视频之间的交叉，来直接提高用户活跃，而不是干预意想不到的变现渠道。
04
智能干预——算法线上服务
最近很多公司都在思考，如何把机器学习算法运用在业务，特别是游戏场景上。接下来，我会给大家分享乐元素在游戏场景中的实践经验。
第一，智能礼包推荐，游戏里有大量道具、IP场景。通过智能礼包推荐，我们能够去设计不同的礼包以及不同道具礼包组合，从而提高用户付费率以及用户的生命价值。
第二，广告变现优化。广告变现有时候会和IAP有冲突，广告放多了，高价值的用户可能就被卖掉了；广告放少了，低价值的用户的变现会降低。我们在这个场景里实现的，就是在保持IAP付费不变的情况下，提升IAA游戏类广告收入的效果。
第三，用户游戏以及付费行为的预测。除了通过客服运营，来保证大R用户的活跃度以外，我们也会做用户流失/付费概率的预测，来帮助业务快速定位，哪些重要客户可能会流失。
第四，广告采买关键行为回传优化。现在我们都在推这种深度转化购买的服务，但服务中应该回传什么样的关键行为，我们要给这些关键行为出什么样的价格才能够提高广告起量与 ROI呢？
这些都很模糊，为此，我们进行了相应的实验并落地。我们发现在广告采买行为的优化方面，通过模型建模筛选出重要行为，并合理的计算他的出价，就能够在广告平台里很好的提升起量和ROI效果。
第五，自动打关难度测试。《开心消消乐》是一个关卡型的游戏，制作关卡很有挑战性。制作难了，用户就会流失，制作简单了，变现机会可能被浪费。所以，我们会根据用户的行为来做一些自动打关的Bot（机器人），这能让我们在上线之前测试新关卡的稳定性。
总的来讲，分析师会在数据分析的时候遇到各种各样的挑战。在带领团队业务分析时，有一个很深刻的体会：我们要从业务的角度去思考，业务还需要我们创造什么价值，我们需要做什么提升和改变。这一方面，数据分析还有很大的操作空间。
以上就是我今天分享的主要内容，希望可以帮到大家，谢谢。
（点击【阅读原文】，下载乐元素分享ppt）
推荐阅读
上海人才战｜成都人才战｜白夜极光
摩尔庄园发行｜二次元美术内卷｜防沉迷困局
二次元抽卡｜中国做不出赛马娘｜自研困局
点击下方公众号名片，获取游戏行业更多信息