二战时期,英国在与德国的空战中损失了不少轰炸机和飞行员。为降低损失,英国军部考虑给轰炸机装上更厚的装甲,来提升飞机的防御性能。但增加装甲会大幅度的增加轰炸机的重量,影响其整体性能,因此研究人员需要做出选择,只在飞机最易受到攻击的地方加上装甲。
当时的英国军方研究了那些从空战幸存的轰炸机。从下图能够正常的看到,飞机上的弹孔大多分布在在机身中央、两侧的机翼和尾翼部分。故而研究人员提议,在弹孔最密集的部分加上装甲,以提高飞机的防御能力。
然而这个提议却被一位叫沃德的统计学教授所否决,他指出这些百孔千疮的轰炸机是从战场上成功飞回来的“幸存者”,说明机身上的弹孔并没有对它们造成致命的伤害,反而是那些没有弹孔的位置才是最致命的,因为这些位置一旦被击中,轰炸机几乎没办法生还。沃德的建议后来被英国军方采纳,挽救了成千上万的飞行员性命。
这就是所谓的幸存者偏差,意指只看到经过筛选后的结果,而没意识到筛选的过程,从而忽略了被筛选掉的关键信息,做出错误的判断。在咱们进行游戏数据分析时,也往往只关注那些已筛选过的数据,从而做出判断,无形中陷入了幸存者偏差的误区,下面我们举几个例子来感受下。
描述这样的一个问题之前,先引用一个案例,在知乎里有一个提问:侵华战争中日本入侵者的真实面目到底是啥样子?在这样的一个问题的回复中,有很多人似乎在为日军“洗地”,觉得日军非常有纪律,并不像传说中那样残暴,而且这些观点也都来自于家中长辈们的真实经历,并非是胡言乱语。
这显然与我们的认知存在偏差,那么问题在哪呢?其实这是幸存者误差中的一个典型---死人是不会说话的,那些真正遭遇日军烧杀抢掠的同胞并没机会将他们的认知留给后人,而那些跟后代讲“其实还好”的恰恰是当时的幸存者。
故事说完了,回过头来看看游戏的数据分析,其实和刚刚的故事相仿,流失的玩家是不会说话的!在我们平时工作中,往往会把大量的数据分析着眼于高活跃的玩家,会认为他们是我们的核心用户,可能为游戏提供更多的收入,但通过一系列分析高活跃玩家而做出的策略,经常会发现效果并不那么理想。
原因在于,那些真正对游戏不满意的玩家已经流失,他们的行为已经丢失,在这样的情况下,一味将分析的重点放在游戏的“幸存者”身上,显然是有问题的。让我们略做反思,除了高活跃用户,是否应该聚焦流失玩家在流失前的行为,他们的意见或许才是优化玩法的有效声量。
同理,大R超R固然是整个游戏的支柱,但开源也同样至关重要,怎么样转化那些没有付费的玩家,研究他们的行为,满足他们的需求,也是数据分析中值得思考的幸存者问题。
关注玩家在游戏内外舆情的同学们可能会发现,不管活动做得好不好,版本改得怎么样,似乎玩家总是在骂游戏,这究竟是怎么回事,是游戏真的有问题,还是活动又做砸了?请不必着急,ThinkingGame平台通过对数千款游戏的游戏外舆情分析后发现,即便是王者荣耀、阴阳师这样的游戏,负面言论仍然占多数。
产生上面讲述的情况的原因,在于玩家在游戏中体验良好时,他们大多会选择继续游戏,而当玩家产生不积极的情绪时,才会通过聊天、评论、发帖等行为进行宣泄,我们通过这一些途径收集到的玩家反馈,其实已经过滤了许多觉得游戏不错但没有表露的玩家信息,在犯了幸存者偏差这个谬误后,自然会发现玩家始终在骂游戏。
当然,如果仅仅因为数据不全面,就不关注玩家的舆情,显然是过犹不及。我们大家可以认为玩家的发言是定性数据,往往可以一针见血地道破问题出在哪里。举个例子,定量的数据可能会告诉你A这个英雄出场率很高,但原因到底是技能厉害,模型好看,还是装备加成?如果是技能厉害,那又是伤害太高,效果出众,还是特效绚丽?要想从定量数据中获取这些主观结果,是十分艰难的,但却直接反映在玩家的言论当中。因此,结合玩家的舆情和行为两方面的数据,才可避开幸存者偏差,从而规避下图的悲剧。
看了上述两个案例,会觉得在游戏运营的数据分析过程中,幸存者偏差是一个不可规避的陷阱,但从另个角度来看,幸存者偏差也能乘为我们运营过程中的助力。
也许运营们并不曾关注,但关于幸存者偏差的的应用其实都会存在于游戏运营过程中:
“xxxx玩家在xxx活动中获取了五星武将诸葛亮”,“xxxx玩家通过xxx宝箱开出了传说级武器”,这样的宣传在游戏中可谓是屡见不鲜,当我们将活动的巨大收益推送给玩家的同时,却没有将哪些“一将功成万骨枯”中的“万骨”一并推送给玩家。此时,玩家往往会一时冲动就产生消费行为,却不会仔细思考,究竟整个活动的数学期望是怎样的,其实这就是将一些经过筛选的信息告知玩家,从而利用那些凤毛麟角的“活动幸存者”,推动其余玩家进一步参与到活动中。
可见幸存者偏差也不只是我们在做数据分析时的陷阱,若能够善加利用,反而能够在一定程度上帮助我们提升指标。比如规避一些负面的信息(抽中概率极低),突出正面信息(收益巨大),利用幸存者偏差引导玩家产生更大的收益。
因此,在游戏运营的数据分析过程中,分析人员应做到“兼听则明”,不能一味倾向于那些高活跃、高付费的幸存者,这些用户的数据都是易得的,一定要通过上帝视角,全面掌握所有玩家的数据,方能探寻到问题的本质。
数数科技成立于2015年6月。公司致力于帮助客户提升数据意识,增强数据分析能力,真正的完成数据驱动。公司产品TGA,可私有化部署的玩家大数据行为分析系统,是一套业内先进的企业级解决方案;公司产品RCS,玩家舆情分析系统,为客户了解玩家诉求,指导产品迭代提供科学依据。