eBay | 亿展宏图 第二篇 | 图算法在 eBay 支付风控领域的应用
作者|闵薇&董文彧
编辑|林颖
供稿|eBay支付风控团队
导 读: “亿展宏图”是eBay 支付风控团队推出的系列文章，分享了eBay风控团队工作在图算法方面的一些理解和研究。在上期的亿展宏图 第一篇|两张图入门图算法里，我们介绍了什么是图、图算法的应用和演化过程三个方面，从中可以看到图算法的一些优越性。本期亿展宏图，我们将从图上的机器学习算法入手，介绍图神经网络的基础，并把图放到eBay支付风控领域中，谈谈它的实际应用。
背景
由于移动电子设备和互联网技术的发展，现代风险管理中，有组织、有专业技术的团伙欺诈所占比例越来越高。根据某咨询公司的调研[1]，在支付场景中，10%~30%的欺诈属于团伙作案；在信贷场景中，40%~50%的欺诈属于团伙作案；在账户盗用场景中，团伙作案的欺诈占比竟然高到50%~80%。
常规的规则模型和有监督的机器学习模型对团伙作案的识别都存在着局限性。首先，现代化欺诈作案中涉及的设备类非结构化数据（如设备ID、Wifi等）很难加工成特征，而被监督模型所使用的；其次，有监督的机器学习模型主要评估的是个体风险，而个体之间的相关关系是很难有效地进行捕捉；再次，有监督的预测模型是根据历史已经发生的样本进行学习，即仅仅学习了历史欺诈模式，很难快速识别未知的新型风险模式。
基于图的机器学习方法，通过构建交易或者账户之间的关联关系，可以帮助我们解决这些问题，有效捕捉团伙风险和挖掘未知风险模式。其中，图神经网络作为工业圈和学术圈的“网红”算法，在风险预测的过程中，由于既考虑了个体风险，又考虑了其所在群体的拓扑结构及其风险特征，且通过端对端的学习，可以非常高效地预测风险。
一、图神经网络基础介绍
1、图上的机器学习算法
图上的机器学习算法就是将机器学习应用于图数据。图(graph)近来正逐渐变成机器学习的一大核心领域，比如你可以通过预测潜在的连接来理解社交网络的结构、检测欺诈、理解消费者行为或进行实时推荐。在图上做机器学习算法，目前主流的有以下三种范式：
1）图拓扑结构特征：图上提取各类反应图结构的手工特征，比如中心度、三角形个数、局部聚类系数等，然后与风险特征拼接，用于下游任务的学习。
图拓扑结构特征
2）图嵌入(Graph Embedding)：在图上利用随机游走的方式进行嵌入(Embedding)，将嵌入与风险特征拼接用于下游任务的学习。
图嵌入
3）图神经网络(Graph Neural Networks,GNN)：在图上利用图神经网络，通过端对端的方式，在一个学习过程中进行任务学习。
图神经网络端对端学习
对比上面三张图的机器学习算法三种范式，可见前两张图都是先进行图的结构学习，再与属性特征融合进行下游任务学习，这两个学习任务是割裂的；而第三张图中，图神经网络的结构学习和下游任务是端对端的一个学习过程，比起割裂的学习更加高效，性能也更好。
2、图神经网络核心基础原理
图神经网络是图机器学习中一个丰富而重要的领域，其基本前提是将神经网络嵌入到图结构本身中。
接下来让我们具体分析一下图神经网络。
图神经网络（GNN）的某一层
对于每一层的图神经网络（后文简称为GNN），如上图所示，主要分为以下两个阶段：
第一阶段：信息传递**(Message)**，对邻居节点的Embedding进行消息传递；
第二阶段：聚合(Aggregation)，对邻居节点的Embedding进行聚合处理, 不同的GNN对应的聚合方式会有不同, 譬如取均值，加权求和，做基于长短期记忆(LSTM)变换处理等。
3、图神经网络的数学视角
为了更好地明晰GNN这个过程，我们可以从数学视角来理解一下节点Embedding的更新过程。以一个最基础的GNN版本为例，如下图所示公式，首先初始层的Embedding为节点本身的原始特征，第k-1层Embedding的邻近信息的均值与它自己前一层的Embedding加权求和后，进行非线性变换（比如ReLU等），经过K层（K为整数）这样的邻居信息聚合之后就为该节点在叠加K个GNN层之后的Embedding。
神经网络数学表达[2]
从上面的公式我们可以看到每一层消息聚合参数Wk和Bk对于每一个节点是共享的，而且在端对端的学习任务中通过把节点的Embedding“喂给”的相关的损失函数，就可以通过随机梯度下降的方式来学习权重参数W和B。由于W和B是可训练的，这样就产生了一个特别的优势。它可以用学习好的模型及参数，对新的图以及图上未见过的节点进行推理，也就是说GNN具有归纳学习(inductive learning)的能力。
可训练的权重参数
归纳式学习[2]
而像Node2Vec等传统的图机器学习都是直推式学习(tranductive learning)， 即只能在见过的图以及节点上学习，这说明这类学习方式没有泛化能力。
直推式学习
4、图神经网络的常见类型
根据消息的聚合方式不同，目前有图卷积网络(Graph Convolutional Network,GCN)、GraphSage、图注意力机制(Graph Attention Networks,GAT)等最常见的消息聚合方式。
1）图卷积网络(GCN) [3]是对邻居的Embedding取均值然后与目标节点的Embedding进行加权求和。
GCN（2017）
2）GraphSage [4]是在K-hop的随机采样的子图上对其邻居进行广义的聚合，然后与目标节点的Embedding进行拼接，其聚合方式包括取均值、池化操作以及LSTM计算等。
GraphSage(2017)
3）图注意力机制(GAT) [5]的核心思想是：不同的邻居节点其重要性是不同的。因此，在消息聚合的过程中有不同的权重，具体过程是根据注意力机制，首先计算目标节点和邻居节点的注意力系数，然后把注意力系数标准化后的值作为权重。
GAT(2018)
二、风险管理领域中图神经网络算法
当我们团队把GNN这个“网红”算法应用在风控领域的时候，我们先在大规模图算法的可拓展性进行研究，使得算法在我们包含十亿级别的点和百亿级别边的交易图上是可以“跑”的动，“跑”的快的；其次，研究更有效地构图来适应风险场景，譬如异构图和动态图。在真实场景中的图，包括风控场景里的图，都是异构性的。所谓异构性就是指，图中不是只有一种节点类型，而是有丰富的节点类型，用来反映各种关联关系。而且，欺诈是动态演变的，时间因素在图的构建中也是非常重要的。另外，在风险场景中黑盒模型的可解释性也是我们特别关注、研究的话题。图神经网络作为一种黑盒模型，我们探索了GNN解释器，使得我们可以知道哪些子图结构和节点属性对GNN的预测起着作用。这样就可以依赖和信任我们的模型来帮助我们在风控方面做出决策。最后，我们在传统图构建的“硬”连接基础上，利用行为属性相似性等特质构建图上的“软”连接，如此就能借力图算法更全面地捕捉风险。
eBay支付风控团队的图算法研究
综上所述，eBay支付风控团队在图算法上的研究具体有如下五个方面：
1、可拓展的大规模图算法
工业级别的数据量，由于其量级过大，而对图模型训练提出了巨大的挑战。目前主要有如下两种方法解决大规模图训练的问题。
1）对图进行“瘦身”：在很多风险场景的使用过程中，我们只是对图上有风险的节点更为关心，因此我们需要对图进行“瘦身”，对其他信息进行剔除。如下图所示，我们在构建初始的大图时，以每个风险节点作为种子(Seed)，计算每个种子的局部社区，然后再把所用种子的局部社区合并在一起。这样构建起来的风险社区图(Risk-community)就是我们最为关心的图，也就是精炼后的图，它是识别欺诈的关键信息。但它远小于全图，所以在风险社区图上跑各种图神经网络算法就毫无压力啦！
海量交易数据定位欺诈团伙分析图
2）Batch训练到mini-batch训练：传统的图卷积神经网络使用的是Batch学习的方法，它有几个问题：一是训练效率不高，batch训练过程中会使用图中所有节点，而且每个节点的所有邻居(Neighbour)都会参与节点聚合的过程，这就导致收敛缓慢；二是内存占用率大，因为需要计算所有变量的梯度信息，整个图以及所有中间变量都需要载入内存，这就给存储带来了很大压力。训练效率和内存占用都是限制工业级别大图训练的瓶颈。而mini-batch训练就可以很好地帮我们缓解了这样的压力。目前在mini-batch训练的过程中有三种采样范式（如下图所示），分别是基于节点的采样（如GraphSage）、基于层的采样（如FastGCN）和基于子图的采样（如ClusterGCN）[6]。
图神经网络mini-batch 训练的采样范式
2、图神经网络算法性能提升
图神经网络模型在深度增加的时候会出现过拟合和过平滑的问题。所以GCN/GraphSage等不能堆叠很多层，也就是说只能捕捉2-3Hop的局部关系，从而限制了图神经网络模型的容量和表达能力。DeGNN通过自动化的图分解技术在图上进行类似于卷积神经网络(Convolutional Neural Networks,CNN)的技术，从而使GNN可以堆叠得更深，更具有表达能力。
自动图分解技术的GraphCNN
3、图的结构
3.1 异构图神经网络
常见的图算法基本是作用在同质图中，图中的节点类型和关系类型都仅有一种。然而，在真实世界中，图几乎都是异构的，比如在风险中我们的交易图。在交易发生过程中会使用到很多实体（图上表现为节点），除了交易本身，比如IP邮箱、邮寄地址、设备ID等都是图上的节点。异构图相比同构图可以提供更多的信息，减少了冗余边，并且能展示更好的连接关系。针对异构图的特征和优势，我们也在现有的异构图神经网络算法上做了优化。我们把节点类型也作为Embedding，和节点交易风险的Embedding合并，通过多头注意力机制进行端对端的学习。我们提出的异构图神经网络算法与SOTA的HGT效果持平，且学习效率提升了8倍。
同质图和异构图
3.2 动态图神经网络
在风险领域中欺诈具有非常明显的时间动态性，因此动态图经常被用在风险管理中，以此来提升模型的风险捕捉能力。现有的动态图神经网络处理中，每个时间切片为一张静态图，然后构建多个包含时间序列的静态图反映图随着时间的动态效果。在这种构图方法中，每张静态图都需要加载，然后通过注意力机制学习每个时间切片之间的关系。可以看到这种方法处理大规模图是非常受限的，而且会产生一定程度的信息损失。我们的优化方式非常“机智”地把时间看成某种意义上的时间边，从而把动态图拓展为异构图，就可以使用我们常规的异构图神经网络框架啦。
动态图设计示意图
4、图神经网络的可解释性
在风险场景中，我们希望模型具有可解释性，知道模型是如何做出预测的。这样我们的业务人员才能信任该模型，并且从中学习到新的风险模式和相关领域知识。图卷积神经网络是复杂的黑盒模型，GNNExplainer（如下图所示）的目标就是在全局计算图中找到一个子图和一组重要特征，使得使用这个子图以及重要特征预测的结果与使用全图和全特征预测结果的差距尽可能小。与此同时，子图和重要特征也要尽可能小，也就需要对结构性进行正则。
图神经网络解释器优化原理[7]
5、基于相似性的软连接
在以上的介绍中我们主要使用“硬”连接进行构图，比如交易之间使用相应的IP、邮箱邮寄地址等。但是，欺诈集团的作案技能在不断演进，他们也通过技术手段不断在绕开这些所谓“硬”关系引起的连接。然而，这些关联账号或其交易背后的行为模式却很难伪造。因此，我们也利用行为模式的相似性构建图上的软连接。在具体实现过程中，我们利用基于BI_LSTM无监督技术，学习行为序列的Embedding。然后利用自研的GPU版本的HDBSCAN对千万级别的交易流水进行相似性聚类，如下图所示。若有属于同一个类且满足给定密度条件的交易，我们即可认为这是图上的软连接。通过丰富图上的关系，进一步提升风险的捕捉能力。
交易行为序列聚类图
三、 eBay风控场景中的应用案例
我们支付风控团队基于图神经网络有各种有意思的研究。我们将这些研究有效地应用在支付风控领域，下述为图算法在eBay支付风控场景的两个应用案例。
1、反洗钱(AML)
反洗钱是合规(compliance)领域最重要且最复杂的场景之一，这是由于以下三个方面：
① 待甄别的异常交易数据量巨大。
② 中间节点多，尤其是涉及跨平台资金链路，路线复杂噪声极大，容易歧路亡羊。
③ 隐蔽性强，一般的洗钱账户从表面看都是“乖宝宝”，退单(chargeback)和索赔率(claim rate)都相对很低。
针对如此复杂的反洗钱场景，eBay风控团队采用人机结合互补的思路，通过交互式可视化(Interactive Visualization)的方案，将图算法和人工研判相结合，以此来使洗钱风险的识别更有效。
下面我们来看一个识别可疑交易的真实案例。此案例是通过我们自研的GraphLab平台上实现的。GraphLab平台是我们自研的一款基于图算法的图可视化平台，通过图算法和有经验的风控人员实现人机互补，共同完成案件的挖掘和调研，其中有一个重要的功能——动态网络图（如下图所示），以实现社区发现和形态识别算法。图片的上半部还原了一个局部交易网络的发展历程(historical replay)，同时下方的时间轴相应地展示了在各个时刻该网络的交易量(Gross Merchandise Volume,GMV)。
动态网络图
由这张图可以看到：
- 网络呈纺锤体状，这是一种经典的洗钱方式（资金从源头分散到各个马甲账号，再汇入最终账户）；
- 网络中的资金流呈现有序的规律（只在一小部分时间内存在交易，且每次都是从顶端到末端的贯穿式资金流(End 2 End money flow)）。
这是我们捕捉的第一个疑点，通过图算法我们可以高效、高精度地提取此类模式网络，为下一步人工研判提供了准确的线索，并节省了大量时间。
通过数据仓库的交易数据直接计算得到进出资金流图（如下图所示），通过该静态的统计图可以明显看到每次的进(蓝色)出(橙色)资金几乎完全镜像对等。这和我们日常的交易模式不符，很可能是在进行有目的的资金转移。这是我们捕捉的第二个疑点。
进出资金流
最后，我们通过人工对具体的交易和商品信息进行分析，正式确定了这例可疑交易，并移交eBay内部的审查部门进行最终的归档和提交。
至此一个完整的洗钱网络识别案例的全过程就结束了，可以看到通过图算法初筛再加上人工精细化研判，我们极大地提高了工作效率和识别准确度，为eBay数以亿计的交易保驾护航。
除了动态图以外，我们还通过降维和聚类算法。我们将网络动态图根据时间片截取成多个静态图，再将每个静态图投影到一个二维平面形成一个点，即将每一个时间片的网络状态在二维平面上表现为一个二维的点。如此动态网络在这个二维平面里有很多个点，从而形成点阵，再通过点阵的形态（如分散、聚拢、线条等）来概括整个网络演变的特征。
该方法可以进一步节省人工观看动画进行研判的时间。例如现在有一个已知的可疑网络，该可疑网络通过3个节点（如下图中右侧全图(Full graph)所示：中间层包含左、中、右，3个红色节点）依次进行资金运输，而对应的投影图上显示，随着时间推移（以颜色从浅黄到深紫标注）网络状态分别经历了3次“聚拢”，而这3次刚好对应3个批次的资金运输（左、中、右3个节点）。通过投影聚类的方式，我们可以快速的总结出网络的动态特性，进一步节省了人工阅读动画进行研判的时间。
网络全景图
2、支付风险
“三角欺诈”(Triangulation Fraud)是一种经典的信用卡欺诈模式，涉及到三方参与——盗卡方、贪小便宜方和受害方。首先盗卡方窃取了受害方的信用卡，然后通过“代买低价折扣商品”的方式吸引贪小便宜的买家，进行套现。当贪小便宜的买家下单后，盗卡方就使用受害方的信用卡在正规渠道购买正价商品并发货至买家，而将买家支付的钱占为己有。在这种欺诈模式下，往往受害人是不擅长科技的老年人，因此不容易第一时间发现受害的事实，同时由于信用卡产生的交易都是正规交易，无论从商品信息、交易行为等各个侧面都没有明显的可疑特征，导致此类案件具有较高的隐蔽性。另外，每次信用卡的窃取都是“即盗即用”的。当事后发现信用卡进行了大量可疑交易并办理冻结时，往往已经于事无补了，而盗卡者已经”大功告成“，甚至已经开始新一轮的欺诈了。
因此我们尝试了图聚类和图卷积算法，通过捕捉“三角欺诈”模式的传播路径，在欺诈产生的初期就能成功地识别此类模式。
下图展现的是一个购买低价日用品的连环三方欺诈案例。图中每个黄点就是一笔交易(transaction)，带红圈的黄点代表发生退单的交易；其余的点根据图标分别表示地址、信用卡、商品之类的实体(entity)；交易和实体之间的连边则表示此次交易和该实体有关联（例如，某笔交易使用了某张信用卡购买了某个商品，即实体是信用卡和商品，边表示使用/购买）。如下图所示，可以看到按时间顺序依次发生了3起案件（即3个簇依次形成），涉及3张信用卡，且每张信用卡都涉及大量的交易以及集中式的退单。同时我们观察到3个簇存在严格的先后顺序，时间上几乎紧挨着但又不重叠。另外，从图的下半部分所示的时间轴可以看到整体的交易金额和资损金额。于是我们希望有一种方式在早期就提前预警，比如在第一个簇形成的时候。
一个购买低价日用品的连环三方欺诈案例
下图展示了我们如何通过图聚类和图卷积算法识别出关键传播路径——贪小便宜方，从而解决了上图里的问题。
三角欺诈模式通过“贪小便宜”方建立起传播链路
我们通过图算法发现：贪小便宜的买家往往会连续“参团”购买低价商品。通过他们的连接就可以让我们第一时间发现新产生的欺诈案例。
通过以上两个应用案例，我们发现了之前所忽视的风险类型和欺诈模式，可见图算法为支付风控作出了很大的贡献，及时预测或检测到风险，给我们带来了很多帮助。
四、总结
在支付风控领域，我们基于图神经网络有各种有意思的研究，并分享了在eBay风控领域的实际应用案例。通过这些研究，我们发现了之前所忽视的风险类型和欺诈模式。在随后的亿展宏图系列文章中，我们会从算法和业务应用上详细展开，让大家对图神经网络在各自的应用场景中落地有所启发。下一期文章将分享各种提升图神经网络训练的方法。下期内容也精彩，千万不要错过呦！
参考资料：
[1]DataSource: https://www.slideshare.net/DataVisor
[2]Stanford CS224W: Machine Learning with Graphs, http: // web.stanford.edu/ class/ cs224w/
[3]Semi-Supervised Classification with Graph Convolutional Networks. ICLR 2017
[4]Inductive Representation Learning on Large Graphs. NIPS 2017
[5]Graph Attention Networks. ICLR 2018
[6]Sampling methods for efficient training of graph convolutional networks: A survey
[7]GNNExplainer: Generating Explanations for Graph Neural Networks. NeurIPS 2019)
