2143 亿！2018 年天猫“双 11”成交总额是这样预测的
基于机器学习方法对销售预测
刚刚过去的双十一，大家可能更关心的是双十一的折扣，什么商品打了什么折扣。但是对于天猫而言，他们可能更关心的是双十一当天的销售额是多少，因为知道销售额，他就能提前做一个准备，做到未雨绸缪。
2016年我们这边有三组数据，第一组是在双十一的前十天，网上有一个专家预测，双十一是1180亿，7天以后马云放出豪言，说今年的双十一可能要突破1500亿，去年是920多亿。在双十一的前一天，网上有一个专家预测了今年的双十一是1200亿，最后双十一是1207亿。
这里有两个问题，第一个问题，预测是怎么做出来的?第二个问题是：对于同一件事情它是预测出不同的结果，什么结果是好与坏?第一个问题是怎么预测的问题，第二个问题是预测的效果好与坏的问题。
机器学习是常用的日常分析的方法，另一方面机器学习在海量数据中挖掘其中的规律效果非常好。
首先，说说，销售预测的现状和痛点。销售只是一个商业问题，要做的是满足用户的需求，同时对后续的运营做主导。而且它的目的并不仅是增加企业的销量，而是能够让企业能够获利，利润增加，所以它是一个商业问题。
对于这样一个商业问题，它在商业环境里面地位是显而易见的，这里面有物流、库存、促销、财务等等四个方面的作用。对于销售预测的痛点，有三方面：①商业环境变化莫测，要做到预测非常准确可能会比较困难;②销售预测并不是一个纯粹的销售预测，它与企业的整体的反应链相关的;③有企业产品比较单一，或者是服务比较单一，想要通过这个销售预测来做这个指导，来指导研发新的产品，或者是通过价格进行动态定价。
在我看来，我觉得核心的痛点就是预测的精确性的问题，也就是第一个痛点。如果第一个痛点很好的解决掉，后面痛点就很好解决。预测的精确性为什么是核心的痛点呢?这里面就要从预测开始讲起，我们对一个事件进行预测是这样一个过程，就是基于历史的情况进行推演出一个规律，通过这个规律来进行推演到未来。它的特点就是我的短期的预测的精度要远远高于长期的预测的精度，即，未来一周的预测要比未来三个月的精度要高。
同时对于预测的话，我们会有几个方面的假设，第一方面是变化模式，其实就是数据里面的规律，它是我们对于这个待预测事物的了解因素。比如说你要去预测明天彩票的号码，我们已经通过对彩票的分析我们知道没有因素是可以影响它的，所以我们是预测不了明天的彩票。这是第一个变化模式。
第二方面，我们要基于数据来做，你的数据量太少，我们这边也做不了，就是一定要达到数据量的级别我们才能做数据挖掘，或者机器学习。
第三方面，我们做机器学习，我们做预测，都会有一个理论框架，在整个理论框架下我们才能做，才能落地。所以这三方面就构成了我们今天要讲的销售预测的体系框架。销售预测体系框架到底是什么呢?
其框架就是销售预测的基本步骤，即确定预测目标、收集和理解数据、建立模型和评价指标。
销售预测的基本步骤
第一步，确定预测目标：首先要研究一下它的预测的对象，比如我要预测衣服，衣服是冬天的衣服，肯定是有季节性的，预测对象不一样，场景不一样，我们预测的方法也会不一样。
同时，做销售预测一般会有一个预期，我们希望这预测做未来4周的预测，还是未来5天的预测，这是有一个短期的预测和长期的预测。如果是希望太高的话我们可能达不到，希望太小，我们花费了这么多的时间和精力。通常而言，你要预测未来一个月的销量，至少需要两年的数据。
此外，因为需要跟业务进行对接，所以业务目标也很重要。一方面是模型的精确性，即，我们可以给出一个精确度，另一方面是模型的可解释性，即，我们的结果更多是要根据后面的业务部门来进行交接，进行沟通，这时候你就不能解释，好与不好为什么，这要带有可解释性。
综上所需，确定预测目标要分两方面进行权衡，即预测精确性和模型可解释性。
第二步，收集数据或理解数据阶段。而这一步通常包括三个小的子步骤，即：收集数据、数据探索和数据预处理。要尽可能多的获得数据，同时，还要理解数据背后的故事与含义。这里有一个小故事：我当时在做项目的时候，我当时电商的销售预测的时候，我看了一下库存，一般来说你卖出一件商品库存就会减，但是我在数据库里看库存为什么是负值呢?我就和业务部门进行沟通，原来他们把库存的默认值就是负值。这就是对于我们在做预测的时候，对数据背后的含义一定要理解清楚。这是一个数据探索。
而数据探索，其目的是为了更好地发现数据的规律，对应用建模提供一个指导方案。
数据预处理是因为同时收集的原始数据可能非常脏、质量非常差，需要做数据清洗。数据预处理的方法很多，这里主要介绍两个数据预处理方法，缺失值处理和数据转换。缺失值处理是指，发现缺失值的时候，需要理解缺失背后的原因是什么，是数据库的技术问题还是真正业务的原因导致它缺失?如果是后者业务原因导致缺失，我们再来考虑怎么处理缺失值，处理缺失值的方法大体有两类：直接删除法和插补法。直接删除法是将缺失率较高的特征或样本数据进行删除，而插补法是通过已有的数据对缺失值进行填补。而数据变换是指数据的分布与我们假设的数学模型会不一样，这样的数据将会对预测精度会有一定的影响。因此，导入模型之前我们就要把数据进行变换，一般有两种方法：直接对数据进行变换、Box-Cax变换。
第三步是应用建模。销售预测的方法有很多种类，本报告主要是介绍以下三类：第一类就叫主观预测法，即，专家法;第二类是时间序列法，即指数平滑法和自回归移动模型;第三类是机器学习中的回归算法。
销售预测的基本方法
专家法是指通过人的判断，人的经验对于未来的销售做一个预测，它的优点是比较快速，比较简单，就是很快就能够给一个结果。缺点就是我们预测的结果跟你预测的结果都不一样，带有差异性。这个专家法其实很多公司在前期他们都是用专家法来进行预测的。还有我们的客户他们在刚成立的电商，他也是用专家法来做的。
时间序列的方法中最简单是指数平滑法。它的特点是“重近轻远 ”，即通过不同的权重来控制预测的精度。优点是简单、适合于趋势预测;缺点是精确率不高。
ARIMA模型是相对比较复杂一点，其原理是用销量去预测未来销量
无论是指数平滑还是ARIMA模型，其预测对于趋势性较强的数据集效果比较好，但如果遇到趋势不那么强的数据集，则效果不太理想，这时，可以考虑用机器学习的方法进行销售预测。
机器学习的整体流程为：首先，将数据集划分为训练集和测试集，其次，对于训练集做特征筛选，提取有信息量的特征变量，而筛除掉无信息等干扰特征变量，再次，应用算法建立模型，最后，结合测试集对算法模型的输出参数进行优化。
这里主要介绍线性回归模型、决策树(回归树)模型、随机森林、xgboost、神经网络、支持向量回归等六种算法模型。
线性回归模型：假设销量与影响销量的因素是线性关系的，包括误差分布、线性方程和激活函数等。
决策树(回归)：其原理是通过if-then规则对特征变量进行逐步决策来构建的模型。此处，可以举一个例子来简单讲解决策树算法的思想是什么?比如说我想给一个妹纸进行颜值评分，分值范围为[0,10]。评分的第一轮判断是五官是否端正?如果为否，打3分;如果为是，则进行第二轮判断，即身材，身材不好则打5分。身材好的话再进入第三轮判断，即是否有钱，有钱就是典型的白富美，就是9分。没钱则为7分。从图中可以看出，其判断决策的过程倒过来看是一个树，红色是它的叶子，叶子对应他的分值，黄色是变量。
随机森林是从决策树演变而成的一个算法，但其思想与决策树相比增加了集成思想。同时，其“随机”具有两层含义，第一层是对特征变量进行随机选择。第二层是，对训练集样本进行随机选择。
xgboost是基于传统的GBDT算法进行了优化的集成算法，它是数据挖掘大赛上面得分非常高的算法。它的思想是这样的，我给一个数据集，我现在有一个问题，就是要看他一家人当中是否会喜欢电子游戏，也是通过构建树的情况进行判断，比如年龄、性别进行判断，它会反映这个家庭成员对应的我们的样本会打一个分，最后男孩给2分，女孩给1分。有时候我们一棵树确定不了，我们就规定多棵树，树1和树2之间并不是独立的，第一棵树的时候对样本做第一次判断，判断的时候有对和错，但是我会更关注于我判断错的那一部分，我在规定第2棵树的时候，我把预测错的更多的考虑一下，就会变成第2棵树，我会过多的关注那些预测错的，再依次的来进行优化。
神经网络是指模拟大脑神经元的工作的非线性模型，神经网络是现在最火的一个深度学习的基础。其包括三个部分：输入层、隐藏层和输出层。输入层在销售预测中则为影响销量变换的各相关因素变量;输出层为销量;中间隐藏层为各相关因素变量到销量之间的一个非线性映射关系，通常为一个函数
神经网络是在反欺诈领域用得比较多，像现在的银行、互联网金融，有的人进行欺骗性的贷款，就用神经网络可以很快的把他发现出来。还有检测病人也可以用到神经网络。
支持向量回归其本质是跟SVM是一样，即寻找能使回归局域更大的margin，其适用于小数据集和高维数据集。
到目前为止，已经简单介绍了六种常用于销售预测的机器学习方法，这些算法也就很好地回答了前面“双十一”销售额例子的第一个问题，即如何进行销售预测?
销售预测效果评估
第四步是评价指标，即预测效果好与坏的问题。对此问题，我想从两个方面跟大家进行分享，即评估方法论和评估的定量指标。第一方面，方法论K折交叉验证。其基本思想为：将总数据集均匀划分为k等份(假设取k=10)，第一次对数据集进行划分过程为：第一份作为测试值，验证这个模型，剩下第2到第10个做训练集。第二次划分过程为：把第2个作为测试值，剩下9个作为训练集，然后依次进行训练集和数据集划分，一共会，得到10个模型，选择最小的作为我们最终的模型。
第二方面是评估指标RMSE，值越小，说明预测值与真实值之间的差异就越小，模型效果就越好。
项目案例
下面我们进入机器学习的实战部分。我会大家看一下案例在上述理论框架的效果怎么样。
第一步，确定预测目标是为某类商品历史销量排行前20的单个商品进行未来7天的预测。
第二步，收集和理解数据，本案例一种为六大维度72个指标。其实，影响销量变化的因素错中复杂，除了本身历史销量外，还有一些：比如说竞争对手的因素、促销因素、新闻热点因素、口碑因素、随机事件因素、非技术因素等等，但是，对于算法建模而言，我们需要把有数据支持的、并且能够可控的影响销量的相关因素考虑进去，因此，才得出了六大维度72个指标(特征变量)体系。
我们对72个指标(特征变量)进行了数据探索，这里以节假日等级与销量的关系为例，通过对数据探索发现了一条规律，即：节假日等级越高，销量会越好。
第三步为应用建模，我们使用了6个机器学习模型和1个ARIMA模型对该案例进行了预测建模，其结果如上图所示，该结果对比图横坐标是真实销量值，纵坐标为算法模型预测值。不同颜色的线对应不同的算法预测结果拟合线，中间45°虚线为参考线，与参考线越近的算法，其效果越好。从图可以看出xgboost和随机森林两个算法的效果是比较好的。
第四步为评价指标，这里不仅输出RMSE值，而且还将历史销量与未来预测销量进行可视化展示，即如上图所示。
我们对所有的预测算法进行了总结，包括预处理、变量筛选方法、可解释性和精确性等内容。
同时，我们也对基于机器学习对销售预测的研究进行了总结，主要分机器学习、数据、效果和业务四个方面。
第一方面是机器学习层面，即机器学习可能更多的是关注相关关系。做销售预测，我们只用到了跟销量变化有关的因素变量，而不是因果变量。有些客户会问我们：现在我要提高商品销量，请你们算法人员告诉我调哪些参数能够让销量增加?其实这就是一个不合理的需求，因为我是做预测的时候我们用到机器学习的模型，我只是用到像库存、价格、节假日，是跟销量无关系的，但是并不是默认认为库存高就一定会影响销量的增加，库存低就一定影响销量减小。因为后者它是一个因果关系，而我们做机器学习用的是一个相关性的关系。
第二方面是数据的层面，没有数据或数据质量差，效果就会较差，业界流行一句话“垃圾进垃圾出”就是指数据。
第三方面是效果层面。其实，效果是评估一个模型对于好与坏。对于销售预测而言，其效果可能主要体现在是否增加企业的利润。但是这样的效果不太好评论，因为这不仅仅要考虑预测的精度、模型的可解释性等算法效果，还要考虑企业的供应链、整体能力等。不能将机器学习的预测效果作为衡量企业是否增加利润的惟一标准。
第四方面是业务层面，即在机器学习训练之前的数据预处理、训练之中以及训练之后的模型评估都需要一定的业务理论作为指导。尝若业务理论偏弱，则可能会影响整个建模过程，其效果也会受到影响。而且我们是从算法的角度，解决的是算法的问题，但是算法的问题，最终还是要回到我们业务问题，在销售预测上我们要回到怎么样提高业绩。
销售预测终究还是一个商业问题，我们只是从数据层面，从算法层面很难能够很好的把这个商业问题解决掉。我们认为这个效果已经比较好了，其实是比那种大数据的精准营销、精准预测还是有一段的距离要走。
首先说一个众所周知的数据：2017年双十一天猫成交额1682亿。
所以今天，从三个角度带你一起去探索1682亿背后的秘密：
1、全网热度分析：双十一活动在全网的热度变化趋势、关注来源、媒体来源以及关联词分析。
2、各平台对比分析：针对“天猫”“京东”“苏宁”等一些电商平台的销售额以及粉丝画像进行对比分析。
3、天猫销售额分析：通过天猫的一些具体销售额进行分析，了解各品类、各地区分布情况以及历年销售额的变化、并对2018年销售总额进行大胆预测。
一、全网热度分析
（1）“双十一”热度
（微舆情）
在双十一前后的72小时之内关于“双十一”的讨论热度高达80.21，话题感满满啊，大家都要成为爱吐槽的段子手了。
（2）微博传播趋势
（热词整体趋势）
通过微指数对“双十一”的趋势分析，可以看出，前期热度呈波动趋势，但双十一当天迅速飙升至2520K左右，大家对于“剁手”这件事是真的很关注，购买力就更不用多说了吧~
（3）关注来源
（PC&移动端热词趋势）
从近一个月的PC&移动端趋势走向可以看出全网的关注度来源，移动端大概是PC端的4倍，更是占到总体趋势的80%以上，这说明大部分关注用户是用手机等其他移动设备进行搜索，最高热度值达到2038K。
（4）媒体来源
在双十一中，媒体来源的信息量TOP3依次为微博、网站和论坛。
（5）关联词
通过对双十一的相关信息进行分析，与核心词关联度最高的词语依次是“包装”、“纸箱”、“电商”。话说，你的快递都收到了么？
（6）头条关键词热度趋势
根据头条指数的热词分析，“马云爸爸”果然不出意料的获得了第一名，在双十一期间他也有借用自己的电影《功守道》来提高自己的曝光率，指数值高达240万以上~
（7）百度指数热度趋势
（BDP面积图）
通过百度指数近7天的热词趋势，我们可以看出，在本次“双11”开始前，大家对于各电商平台的讨论热度居高不下，呈直线飙升趋势，在“双11”当天达到最高值。其中“淘宝”、“京东”、“唯品会”等电商平台一度成为大众关注的焦点。
（8）微信指数热度趋势
（BDP自定义图表）
如图所示，微信指数近7日热度最高的是“双十一”，其次是“快递”，“淘宝”位居第三。看来，痛快的买买买之后，大家还是比较关心什么时候可以收到剁手的产物啊，有快递在路上的日子，一切都有了盼头~
二、各平台对比分析
（1）各平台总销售额对比
（BDP环形图）
以上是某数据对20家B2C电商平台的监测结果，在双十一销售额方面，天猫销售额稳居全网第一，占比66.23%，京东占比21.41%，苏宁易购占比4.34%，亚马逊占比1.95%，唯品会占比3.43%，其他电商平台占比2.64%。
如此显赫的数据，直接体现了“双11”线上人群强大的购买力，同时也代表着中国新零售能量的爆发。嘿！咱们又为建设美好的社会主义国家贡献了自己的一份力！
（2）各平台海外购销售额占比
（BDP自定义图表）
根据上图，能够很清晰地看出2017年双11各平台海外购销售额占比情况，亚马逊为7.3%稳居第一，天猫为5.4%，京东为4.9%，苏宁为0.6%，唯品会为3.7%。
原来11.11这个节日已经不单单只是亿万国人的狂欢，还有越来越多的海外多个国家的加入，一个个数据体现的是一种新经济和新消费模式。
（3）粉丝画像对比
（微舆情）
针对淘宝和京东两家粉丝进行了对比，可以看出淘宝的女性粉丝是远多于男性的，京东的男女比例分布比较平均，这与京东最初主打数码家电行业有密不可分的关系。
而两家粉丝的年龄分布相差不多，都集中在年轻人这里，看来50岁以上的人群还是待开发的用户群啊~
（微舆情）
根据微舆情的情绪地图可以看出在双十一之后用户通过微博展现出来的情绪，最显著的就是：喜悦。其中最“喜悦”的是广东地区用户，大概是因为他们的快递正在路上，抑制不住内心的兴奋吧，哈哈~
三、天猫销售额分析
（1）天猫历年“双11”销售额
（BDP双轴图）
2009年之前，天猫还叫淘宝商城，“双11”销售额是5200万，27个品牌参与了活动;
2010年，“双11”的成交额以惊人的速度增长，总成交额9.36亿；
2011年，“双11”总成交额达到了33.6亿。“双11”这个在大家的概念里原本只是光棍节的日子彻底火了；
2012年，淘宝商城正式更名为天猫，“双11”线上总成交额达到191亿，“双11”热潮从线上覆盖到线下，成为一个全民总动员的节日；
2013年，天猫“双11”交易总额达到362亿元，交易额大幅提升；
2014年，双11趋势呈现全球化，全天交易额达571亿元；
2015年，双11的最终交易额达到912.17亿元，覆盖了232个国家和地区；
2016年，天猫双11全球狂欢节全天总交易额达到1207亿元；
2017年，“双11”天猫交易额总计达1682亿，各项数据仍然不断刷新前几年的记录。
（2）2017年&2016年天猫“双11”成交额
（BDP对比条形图）
盘点今年双11交易额重要数据，从11日0时开始销售额一直不断上升至11月12日0时，天猫“双11”指挥中心大屏幕上的数据最终停留在1682亿元。看了上图终于知道为什么购物车里的商品分分钟就不见了！！这是在跟几亿人作斗争啊！
（3）2017天猫“双11”各地区销售额
（BDP面积地图）
在这场全民剁手热潮中，广东人民消费力杠杠滴，位居全国第一，浙江、江苏人民也贡献了不俗的“战绩”！北、上的人民怎么甘愿落后呢，这销量也是紧随其后啊！据统计，2017年“双11”共产生包裹13.8亿个，快递小哥正在努力将你的包裹送到手中哟。
（4）天猫全网成交额产品类别排名
（BDP自定义图表）
（BDP柱状图）
2017年“双11”所有成交产品中，产品品类排名前几分别是：大家电销售额占比15.2%，手机销售额占比8.7%，个人护理品占比5.6%，母婴用品占比3.6%，生活电器占比2.8%，彩妆占比2.5%。
其中销售量Top1的大家电排名如下：在大家电品牌中，海尔销量稳居第一，美的、夏普其次，之后依次是：西门子、格力、海信、小米、TCL、小天鹅、奥克斯。
2018年预测
最后让我们根据以往的数据大胆预测一下，2018年天猫“双11”全球购物狂欢节的成交总额：2146亿元！让我们记住这个数字，看看国人的购买力会不会超过机器预估能力~
阅读过本文的人还看了以下：
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
Machine Learning Yearning 中文翻译稿
textCNN和lightGBM模型对景区口碑评价进行情感分析
基于CNN的中文文本分类算法（可应用于垃圾文本过滤、情感分析等场景）
