深度学习在花椒直播中的应用—推荐系统冷启动算法
引言
推荐系统是依据用户的个人喜好尽可能推荐用户喜爱的物品（视频、新闻、商品、直播等），而用户的兴趣偏好则通过过往的行为数据体现出来。当没有历史记录可循时，就存在推荐冷启动问题。本文在接下来的篇幅首先讲述冷启动的相关概念，然后介绍一些业界常规的解决方法，最后会着重阐述花椒直播在解决用户冷启动方面的实践。
1. 冷启动概念
推荐系统旨在通过用户特征及交互行为和物品的特征来预测用户对物品的偏好，从而进行个性化推荐，当物品或用户缺少足够的有效信息时，即存在冷启动问题。
冷启动问题可以分为以下三种：
1.1 系统冷启动
指整个产品刚刚上线，尚未积累足够数据和用户。此时主要依靠产品设计者和开发人员合作来完成系统的冷启动，这其中包括对产品的定位，目标群体的推广，种子用户的获取等等。
1.2 物品冷启动
指新加入的物品，本身没有交互数据（直播被多少人观看，商品有多少人点击、购买，影视剧有多少人打分等），例如电商平台新上架的商品，直播平台新人主播等。
1.3 用户冷启动
对于没有交互记录的新注册用户，初期的使用体验几乎决定了新用户的去留，因而用户冷启动是推荐冷启动中非常重要的部分。本文将主要介绍用户冷启动的解决方案以及花椒直播在用户冷启动方面的探索。
2. 用户冷启动模型
用户冷启动在业界通常有如下几类通用的方法
2.1 热门内容推荐
可以依靠专家经验，通过一些规则统计热门内容推荐给新用户。这种方案比较简单，但多数情况下缺乏变化，如果更新不及时，会使用户很快失去兴趣。
2.2 基于群体代表推荐
向用户提供几个兴趣标签或者物品，让用户进行选择。通过标签或者群体代表的物品来初始化用户的兴趣偏好，再给用户推荐相关的物品。
群体代表推荐优点在于其相似度推荐可以基于矩阵分解，如果原推荐系统已有矩阵分解模型，则不需要做太多改动即可实现。同时该方案的可解释性较强。由于需要修改前端交互逻辑，增加新用户操作步骤，可能会降低用户体验。
2.3 利用辅助信息
新用户可以通过其他平台帐号登录，可以通过其他平台已有的用户画像（例如社交平台的好友关系、兴趣爱好等）来实现用户画像扩充，达到冷启动推荐的效果。
辅助信息的利用能在一定程度上很好的解决用户冷启动问题，而由于隐私保护和平台数据保护等原因，获取平台用户画像在实际实施过程中开发工作量比较大。
2.4 bandit 算法（bandit 探索 + 利用）
多臂赌博机问题(multi-armed bandit, MAB) 是强化学习中关于探索和利用（exploration–exploitation, E&E）的经典问题：多臂机的每个臂中奖概率不一样，试验者要根据某种策略经过多次尝试，并根据每次的获胜情况，迭代更新策略，从而获得最大收益。bandit 相关算法包括 Epsilon-Greedy、UCB、LinUCB、Thompson sampling 等。下面以 Thompson sampling 算法为例，简单说明 EE 类算法的实施过程。
Thompson sampling
我们假设每个臂的获胜概率服从 Beta(win, lose)分布，则求解最大收益转化为对每个臂的获胜概率分布进行参数估计。在每轮迭代中，我们可以对每个臂以当前 beta 分布的 win、lose 参数生成概率 p 作为获胜概率，选择 p 最大的那个臂进行下一轮尝试，根据结果更新该臂的 win、lose 参数。
MAB 问题中关于 E&E 问题非常适合用户冷启动的场景，bandit 算法在兼顾用户已知兴趣的同时，通过不同策略来探索用户潜在的兴趣，通过多次尝试来发掘用户兴趣。这类算法也可用于提高推荐内容多样性。bandit 算法需要不停的尝试和更新来实现对用户兴趣的拟合，由于没有利用任何先验知识，因而在前几次的推荐效果可能会比热门还要差。
2.5 深度学习
深度学习由于多层网络设计和 dropout 技术，使得其能够自动提取高阶特征，泛化能力相对传统机器学习模型要更好。在新用户冷启动场景下，用户行为特征较少，此时可以训练模型学习群体特征，例如 XX 地区使用 XX 手机的 XX 岁男性，喜欢哪些类别的商品等。
这种群体特征可以通过特征交叉来实现，比如 Wide&Deep 模型 Wide 部分的手动特征交叉，但手动交叉仅能学习到训练样本中存在的交叉特征（如两个特征 A、B，分别有 A1，A2， B1， B2，样本中仅存在 A1_B1，A2_B2，则无法学到 A1_B2 和 A2_B1 的权重）。
DeepFM 通过因式分解机（FM 部分）用向量代表特征，通过向量内积来实现特征自动交叉，同时解决了训练集里没有共现的特征无法学到权重的问题。
另一个思路是利用用户的行为序列来进行推荐（过去几分钟点击的商品，浏览的页面等），这种情况下用户行为序列是实时构建，不需要提前生产画像，处理序列特征的模型包括 RNN、LSTM、GRU、DIN 等
- 花椒直播推荐的用户冷启动介绍
由于时间跨度较小，新用户近期的交互记录并不足以构建用户画像（过去一段时间观看的频率、时长，发送的弹幕次数等），因而不适用老用户的推荐模型。我们主要着重于基础画像以及短期的交互行为记录，利用这些特征来解决新用户的冷启动问题。
3.1 热门推荐
如 2.1 所述，可以根据一些规则（如直播间新用户留存率排行，直播间热度排行等）生成热门主播列表，再推荐给新用户。
3.2 热门 + 实时行为反馈
在纯热门推荐的基础上，我们引入了用户最近观看记录这一特征，使用协同过滤的方法，从候选集中召回与观看记录中相似的主播，经过排序后推荐给用户。如果用户没有观看记录，则直接推荐热门列表。这种方案相对简单，可以利用已有的协同过滤模型，不需要单独训练模型。
3.3 bandit 算法
多臂赌博机问题中，测试者根据策略多次尝试选择不同的臂，根据反馈来迭代更新各个臂的获胜概率。直播推荐中，由于在线主播较多，而用户同一时间只能观看一个主播，且手机上屏幕较小，一屏内仅能展示少数几个主播。如果直接将主播对应为多臂赌博机的一个臂，将一次展示（曝光）作为尝试，一次点击/观看作为获胜来进行建模，则会有很多臂得不到更新。为此我们做了一些修改，对主播聚类，将类别作为臂，计算用户对类别的 bandit 得分。
以 Thompson 采样算法为例，我们先通过矩阵分解、item2vec 等方法训练得到主播的向量，进行 K 均值聚类，得到多个类别，bandit 算法在线学习时，根据用户的观看记录，对各个类别的参数进行更新，再与主播分数相乘得到最后的分数。与类别得分是基于单一用户的 bandit 尝试不同，主播分数通过统计平台所有用户对该主播的曝光和点击记录，更新 bandit 参数后计算得到，如果没有曝光点击记录，则赋一个随机值。相比热门和基于观看记录协同过滤的方案，bandit 算法能够给用户推荐不同类型的直播，付出的代价是前几次推荐效果可能较差。
3.4 深度学习
新用户除了没有交互行为记录以外，往往会有一些基础画像（性别、年龄）以及上下文特征（地区、设备型号、渠道、时间等），bandit 算法并未利用到这些信息，而前面几次的推荐尝试存在不确定性，因而初始推荐效果比较一般。我们尝试用深度学习基于这些基础特征来学习群体的兴趣偏好，在 Wide&Deep 中通过用户上下文特征与主播的标签进行手动交叉，通过 DeepFM 实现特征自动交叉，达到学习群体特征的效果。同时，在模型的 Deep 部分，参考 DIN 模型，利用注意力机制来处理用户的观看序列特征，从行为序列学习到用户的兴趣向量，从而实现对用户实时行为特征的学习。
3.5 辅助信息使用
深度模型由于利用了基础画像特征和观看序列等特征，推荐效果有了一定提升，在此基础上，考虑借助其他平台的用户画像，来补全现有用户画像。这其中包括社交平台的一些画像的利用，其他注册来源平台已有的用户画像的利用等。
3.6 模型效果
在解决新用户冷启动的过程中，特征的挖掘和模型的更新缺一不可，在热门基础上加入用户实时反馈信息后，相关指标提升显著，新用户人均观看时长等指标提升 50% 以上，深度模型在此基础上也有 20% 以上提升。
4. 总结
新用户和新物品的加入是平台能够保持活力的关键之一，推荐系统冷启动方案在新用户和新物品的加入起着非常重要的作用，业界在冷启动这方面也有很多研究。在技术选型时，要结合不同场景选择合适的方案，可以在初始阶段选择相对简单的方法使系统尽快上线，在系统相对稳定时再继续尝试一些相对复杂的方案去迭代改进。
