AB实验在腾讯海外游戏中的应用
导读 腾讯游戏在国内市场处于领先地位，拥有众多的用户群体。然而，在海外市场上，由于市场环境、用户习惯等方面的差异，腾讯海外游戏仍然需要不断地通过实验手段创新和调整游戏业务策略，才能够更好地提升不同国家和地区的用户体验。因此，本文将详细介绍AB实验在腾讯海外游戏中的应用，分析腾讯海外游戏的AB实验能力培养与实验平台建设，以及AB实验如何有效驱动海外游戏业务增长。今天的介绍会围绕下面四点展开：
全文目录：
- 腾讯海外游戏现状
- 海外游戏实验能力
- 多云适配实验平台
- 应用驱动业务增长
分享嘉宾｜张思哲，腾讯IEG Global - Advanced Data Group Senior Data Scientist
编辑整理｜田超 暨南大学
内容校对｜李瑶
出品社区｜DataFun
01/腾讯海外游戏现状
首先，介绍一下腾讯海外游戏市场的发展。腾讯游戏在国内行业处于领先地位，旗下有天美、光子、北极光和魔方四大游戏工作室，游戏产品以to C的手游端产品为主，在国内市场具有较大的用户群体。但是，海外游戏市场与国内游戏市场存在一定的不同之处，主要体现在以下两点：
（1）游戏的产品类型更多，不局限于Mobile手游端的场景，还包括PC电脑端和Console主机端的场景。Mobile端游戏通过手机就可以玩，方便利用碎片化时间也更容易积累用户。PC和Console端游戏需要购买设备，因为较难做到"想玩就玩"，游戏门槛较高。
（2）Mobile端游戏开发更新速度相比PC和Console端短一些，也灵活一些，开发人员在游戏迭代期间有机会尝试更多的策略。同时，游戏需要联网的特征也方便我们进行AB在线实验。但是PC端和Console端开发周期较长，更新速度相对较慢，同时某些游戏进行的过程中并不能保证一直连线，因此会出现不能及时进行AB实验的情况，这也是海外游戏在AB实验中经常遇到的挑战。
02/海外游戏布局实验能力
1.海外游戏AB实验介绍
AB实验的目的是科学评估策略效果，定位优化方向，选取最佳方案。游戏中的AB实验主要流程如下：
（1）用户圈选。选取玩家群体，可以从游戏随机群体抽样，也可以按照标签划分具体的消费群体，例如按照国家、地区、消费者、年龄段以及活跃度等相关指标进行划分。
**（2）随机分流。**通过一些常用的hash算法将游戏玩家随机打散到对照组或实验组，消除有序分流（例如直接id尾号分流）产生的误差，尽可能降低组间差异。
**（3）实验上线。**实验上线的策略包括很多类型：例如游戏后台策略、界面样式的改变以及推荐算法的优化等。
**（4）实验分析。**通过累计一段时间的数据，使用线下或平台的方式，观测实验组和对照组之间指标的差异，指标通常来源于实验的开启方在实验前确定的目标。
**（5）实验决策。**实验分析结束后，进行统一决策，判断实验结果和评估实验效果。一般来说，高度优化的业务场景实验结果有显著正向结果的比例在10-30%之间，实际上大多数时候的实验结果没有显著效果或者产生负向效果。同时，关键指标的改进只在0.1%-2%的区间内改动，尽管改动比例看起来很小，但是用户体量较大时（例如百万级或千万级的用户群体），也会对用户产生很大的影响。
2.海外游戏实验的难点与挑战
海外游戏AB实验主要存在两个挑战。首先，由于各国对数据管理存在不同的规定，数据必须放在当地，存储在不同的服务器，进行数据权益管理。同时，不同产品端的游戏也要放在不同的服务器中，不同服务器之间的数据互通也存在一定的困难。另一方面，部分游戏开发和运营人员缺乏科学实验的意识，对新功能，新策略会选择直接上线，然后对应的评估更多依赖经验或者前后对比的方法。这种方法包含大量干扰和偏差，会对结果产生强烈误导，因此需要AB实验对外界环境和变量进行控制。
3.海外游戏实验数据科学能力矩阵
腾讯海外游戏以实验文化建设和专职技术投入为基础，以实验数据科学咨询、离线实验和平台实验为核心，构建海外游戏实验数据科学能力矩阵。在基础层，软实力是提升实验文化建设，不断加强AB实验的文化宣传，构建良好的实验氛围，形成科学健康的实验评估体系，而硬实力是加强专职技术投入，不断打磨实验平台的能力，建设实验技术文档。
实验数据科学咨询适用于实验零基础或较少经验的业务、以及需要实验数据科学能力支持的业务，主要提供实验数据科学咨询服务和专业实验数据团队。离线实验主要适用于短期、快速支持的新业务场景，通过大数据平台+python数据科学功能包+数据可视化+文档组合包提供支持，它的优点是实验接入成本较低，但缺点是受限于人力的支持，实验效率较低，而且通过离线的方式进行无法实时自动更新。平台实验则更适用于长期、大规模跑实验规划的业务，将业务接入实验平台，通过平台统一进行实验，它的优点是实验效率非常高，可以进行大规模并行实验，并且具有完善的实验管理能力，但是需要承担较高的实验接入成本。
4.海外游戏实验场景
将游戏玩家作为研究对象，玩家生命周期主要分为四个阶段：潜在用户、新用户、成熟用户和流失用户。因此针对不同阶段用户，可以采取不同的实验场景进行研究。例如在潜在用户阶段，应在广告页面、APP图标、官网UI方面尽可能吸引用户进行下载；在新用户阶段，需要尽可能引导用户快速地注册，并让玩家尽快适应游戏操作与感受游戏乐趣；在成熟用户正在转向流失用户的阶段中，应该采取必要的营销策略，更好地挽留即将流失的用户。
03/多云适配实验平台
1.海外游戏实验平台的合规方案
海外实验平台最大的阻力就是数据合规，如何将业务数据提供合规地提供给平台是非常重要的问题。为此，腾讯海外游戏提供了以下的方案来解决数据合规问题：
（1）地域与资源隔离。在不同的国家或地区，以及不同的云服务中进行隔离。平台A的Bucket与平台B的Bucket隔离 ，达到游戏A的业务方看不到游戏B数据的效果。
**（2）数据主体操作权。**平台给业务开通对应的GCS Bucket权限，将用户上传的GCS的数据导入平台维护的GCS中。
**（3）数据权限管控。**每个平台都有独立的IAM权限管控能力，而在平台页面上具有自由的页面权限管控功能，既可以做到不同游戏业务之间的实验数据保护，也可以做到相同游戏的不同业务之间的实验数据保护，实现信息安全与隐私保护。
2.海外游戏实验平台的数据体系架构
构建数据体系架构对于海外游戏实验平台的建设是非常重要的。一方面，实验报告的数据来源主要包括终端、前端和后端SDK。通过从SDK采集的数据，在Google Cloud Pub/Sub管道进行上报，在Google Cloud Dataflow中按小时分区写入数据，在Google Cloud Storage中定期形成独立流水表路径，通过Databricks执行曝光聚合。另一方面，用户行为数据因为来源于不同的云数据库，需要通过Google Cloud Transfer Service进行数据跨源导入工作。最后，通过数据湖底层存储的方式将数据储存起来，并将数据进行结构化管理。
3.海外游戏实验平台的实验体系架构
在实验体系结构上，首先要明确实验与指标的具体定义，并且将指标进行翻译，使其适配多引擎SQL规范，通过离线预计算与即席查询的方式来分析数据变化，实现数据管理与治理。
04/应用驱动业务增长
接下来以两个具体案例来介绍如何通过实验应用驱动海外游戏业务增长。
1.案例1:游戏新手流程优化
这里给大家展示的是一个普通游戏玩家在一款游戏的生命周期，会经历从新手到核心再逐步流失的这么一个过程。在新手引导环节，需要根据玩家的游戏化水平设计新手流程，保证游戏新进留存比率，防止玩家在初期流失。
通过和游戏业务的梳理，我们把游戏的新手流程优化路径划分为五个步骤：评估流程、调整难度、调整对象、调整触发条件和调整操控参数，并按照背景、方案和指标的维度进行思考。下面通过三个具体的实验进行说明。
第一个实验是关于玩家跳过新手关的实验，本实验总共分为三组：实验组1（新手关显示跳过按钮，占比10%），实验组2（不进入新手关，占比10%），以及对照组（正常进入新手关，占比80%）。通过实验研究发现，不进入新手关的玩家，他们的次日留存率、三日留存率和人均在线时长都出现负向显著下降，说明了新手教学指引存在的必要性，因此不建议取消新手关。
第二个实验是测试不同攻击模式对玩家的留存、设定的更改等指标的影响。将用户按照攻击视角（A与B）和自动攻击（打开与关闭）两个维度将用户划分为3个实验组和1个对照组。经过实验研究发现，关闭自动攻击对新进玩家的次日留存率和三日留存率均有显著负向影响，并且有相当部分的玩家更改攻击模式，因此建议业务停止尝试，默认打开自动攻击。
第三个实验的目的是评估调整新手玩家的默认首局视角对新手玩家留存的影响。本实验总共分为三组：，对照组（首局默认视角A，占比30%），实验组2（首局默认视角B，占比30%），以及实验组（首局自主选择视角A或B，占比40%）。通过实验发现，让玩家选择首局视角的游戏设置，能显著提升新手的次日留存率和三日留存率，发现玩家更喜欢与自己使用偏好相匹配的视角去进行游戏。
2.案例2:通过电子邮件召回流失用户
流失用户召回体系主要包括定义流失用户、流失用户预警、用户召回流程和召回后的维护四个步骤。与国内较为依赖微信，QQ等社交软件相比，海外对邮件的使用更为普遍。通过邮件的方式发送活动促销，游戏更新是常见的形式。本案例主要是对邮件召回方式下的不同召回内容策略效果的研究。
为了更好地进行邮件类的实验，我们对其进行模块化的定义和划分。邮件主要包括邮件标题、邮件缩略图、邮件素材、邮件正文等主要邮件要素，每一个要素都支持通过实验的方法进行优化迭代。此外，像邮件的字体和颜色，激励内容和形式等元素也可以支持实验迭代。
本实验目的是探究邮件标题的强调内容对邮件召回率的影响。本实验分为两组，其中一组的邮件标题强调版本更新和新平台，另外一组的邮件标题强调玩家的免费福利，实验结果表明，尽管邮件标题强调版本更新和新平台可以提升邮件的打开率，但是强调玩家的免费福利邮件标题才能真正提升邮件的召回率，因此建议设计强调免费福利的邮件标题。
今天的分享就到这里，谢谢大家。
▌2023数据智能创新与实践大会
数据架构/数据效能/智能应用/算法创新......
4大体系，专业解构数据智能
16个主题论坛，覆盖当下热点与趋势
70+演讲，兼具创新与最佳实践
1000+专业观众，内行人的技术盛会
点击下方链接了解详情：
DataFunCon2023（北京站）：数据智能创新与实践大会
