分享嘉宾：张凯 中科大 博士研究生
编辑整理：吴祺尧 加州大学圣地亚哥分校
出品平台：DataFunTalk

导读： 情感分析旨在从用户的文字或者图片中挖掘出用户的情感倾向。根据情感标签的不同，情感分析可以为二分类或者多分类任务。跨域情感分析结合了迁移学习和情感分析问题，利用多场景、多领域之间的特征相似性，训练跨领域、可迁移的通用性模型，使得模型在可以有效地利用源域情感语义信息辅助目标域文本进行情感分类。今天的介绍会围绕下面五点展开：

• 背景介绍
• 相关工作介绍
• GAST模型
• 实验及结果分析
• 总结

01 背景介绍

首先和大家分享下跨领域情感分析的背景。

1. 情感分析

情感分析的目标是从文本或者图片信息中挖掘用户的情感。根据给定的标签不同，情感分析可以是区分喜欢与不喜欢的二分类任务，也可以是判断用户是中性态度、负向态度、正向态度的多分类任务。

2. 迁移学习

迁移学习面向少标签、弱标注的领域，通过结合源领域和目标域的共同特征与知识来提升目标域的模型预测效果。需要注意的是，源域往往指的是有着丰富数据标签的领域，而目标域往往面临着较少的标签甚至没有标签的数据。通俗地说，一个羽毛球高手去学习网球的成本要远低于一个小白去学习网球的成本。迁移学习已经被证明可以在语料匮乏、弱计算场景下在目标场景下取得相对不错的效果。

3. 跨领域情感分类

跨域情感分析结合了上面两个任务。源领域和目标域的数据分布往往是不一致的，且目标域缺少用户的情感标签或者文本、图片的标签信息。跨域情感分析旨在找到一种通用、普适性的方法，使得我们可以挖掘领域间共同享有的知识，利用它们来预测目标域的情感标签。与传统迁移学习有所不同的是，跨域情感分析不是专注于挖掘单一领域的信息，而是挖掘在跨领域场景下可以自适应迁移的情感语义特征。

4. 主要挑战

目前跨领域情感分析面临的主要挑战包括 ：我们应该去挖掘哪一方面的跨域知识，即我们在不同领域的文本中需要关注哪些信息？如何设计出一个合适的算法来有效地关注这些关键信息？

解决以上问题可以被形式化为两个步骤。首先，我们需要 找到可迁移的信息 ；之后，假设上一步找到的信息是值得利用的，那么我们需要 设计一个新颖的模型来充分挖掘这些可迁移的共享特征 。

02 相关工作介绍

跨域情感分析可以近似地看作一个无标签问题。 解决无标签问题主要有三大类方法 ：样本的重加权、子空间对齐和目前主流的深度学习方法。我们现在在跨域情感分析做的工作基本上是基于深度学习做的探索与创新。

传统方法往往是基于规则或者机器学习，挖掘跨领域共享特征，如领域间共现频率较高的词汇等。基于深度学习的方法则会挖掘更深层次的可迁移的情感表征。我们可以通过设计memory network、层级attention或者交互式 attention来更好地学习这些深度表征。

首先介绍一下发表在ICML2015上的DANN，它代表着目前主流的迁移学习模型的特点。

输入样本首先会经过一个特征抽取器；得到样本的特征之后，模型设计了一个分类器来预测情感分类，通过优化分类损失函数来使模型学习到情感知识。文章还创新地设计了一个领域分类器，作用是判断输入样本是来自于源域还是目标域。我们可以通过最大化领域分类器的分类损失函数使得模型学习源域与目标域共有的特征。总地来说，通过联合训练两部分损失函数，DANN可以使得模型同时学习到情感特征和领域共有信息，达到跨领域学习的目标。

第二篇介绍的工作是发表在AAAI2019上的IATN。

它的模型包含可一个领域分类器和一个情感分类器。IATN旨在挖掘源域中更有用的信息，构建更好的情感迁移网络。情感迁移网络设计了aspect-net，通过LSTM和交互式attention layer，利用情感分类信息建模它们对于整个句子语义的影响。

IATN通过展示了主要实验结果、可视化attention层以及实际应用的验证来证明利用aspect信息可以更有效地挖掘跨领域、可迁移的特征。

03 GAST模型

接下来重点介绍我们提出的GAST模型。

首先阐述一下之前跨领域情感分析工作存在的****不足与问题。

目前主流的encoder主要是基于DNN或者预训练语言模型，其基本上是由DANN迁移学习框架衍生而来的产物。它们之间的不同处在于设计不同的DNN来挖掘更好地跨领域语义或者情感特征。但是我们在调研中发现这些工作普遍上有以下两方面问题。

① 它们的语义表达并不是很充分，它们往往只专注于挖掘文本序列的语义信息，而并没有关注文本序列中parsing或者pos tag这类的关系信息。我们通过效果验证试验发现这些信息可以对挖掘出的语义表征有较大的提升。

② 之前的工作通过隐式、类似于黑盒的方法来挖掘可迁移的特征，但是他们忽略了如句法结构等显式的可迁移信息。

提出GAST模型的第一个动机是更好地挖掘可迁移的语义信息。一个很直观的方法是学习句子中的情感词汇embedding，但是这一方法需要经过迭代学习来得到情感词的特征，导致它不够显式。我们认为模型可以利用如词性标注等更加显式的信息，使其可以直接关注于句子中的情感词。今年ACL2022最佳论文恰好也使用了pos tag信息来增强语义表达，只不过使用这一额外信息的方式更加巧妙。

第二个动机源于模型即使能够得到句子中核心的关键词，但句子中关键词的上下文也会对整个句子的语义有着关键性的影响。同时，不同的上下文的重要程度也不一样。所以，我们也可以通过句法依存的关系建立一个图结构，并使用图模型会更好地表征上下文信息。

尽管前两步我们可以更好地表征情感词语义信息和上下文信息，但是跨域情感分析需要找到一个有效的方法来达到跨域知识迁移。我们观察到不同领域中的句子的句法结构树十分相似，所以GAST模型的第三个动机是利用这部分相似的句法图结构信息，因为它们可以天然地在领域之间进行共享。而这点正是之前的工作没有考虑到的跨领域可迁移信息。

基于上述三点动机，我们设计了GAST来解决这三个问题。GAST主要包含两个模块：POS-based Transformer和Hybrid Graph Attention。前者将传统的Transformer和pos tag的信息结合，后者可以更好地抽取由句法依存关系构建的图结构中包含的语义信息。

模型的 第一步是生成由句法依存关系构建的树 。我们使用第三方工具CoreNLP将句子序列转化为一张句法图，其中包含句法依存关系和pos tag标签信息。

第二步，我们会将句法结构和pos tag信息进行建模。

我们考虑改进Transformer架构，使得模型不仅接收word embedding，还加入了pos tag embedding作为输入，并将这一部分embedding映射到word embedding的向量空间中，随后使用self-attention机制得到pos tag对语义信息的影响。

下一步我们对句法依存关系进行建模。

我们设计了两种不同的建模方式：关系聚合和关系激活 。两种方式的共同的核心目标是建模单词之间的句法关系。前者直接将句法关系直接拼接到两个单词的embedding之间。

后者将句法关系看作为一个中间向量，利用缩放的点积注意力计算机制，将句法关系自适应地融入两个单词的表征中。

由于不同的上下文会对同一情感词产生不一样的影响，关系激活相较于关系聚合可以更好地建模不同句法依存关系对单词语义的重要程度。

最后我们提出了融合多个损失函数的自适应策略。我们借鉴了DANN的迁移学习架构，包含了一个情感分类器和领域分类器。值得注意的是，我们加入了基于自监督学习的特征对齐损失函数，旨在提取跨领域共享特征。最终，模型通过联合优化三种损失函数来优化模型参数。

04 实验结果及分析

实验使用的数据集拥有四个领域：书籍、DVD、电子和厨房。通过初步的数据分析，我们可以看到不同领域下句法数据的分布比较相似，说明句法结构是领域共享的假设是合理且有效的。

通过实验结果我们可以看到，GAST在12个跨域情感分析数据集上都取得了SOTA的效果。通过对不同模块的消融实验，我们证明了HGAT模块、IDS模块等都对模型效果的提升有着正向作用。

随后我们还进行了case study，对两个例子进行了可视化分析。具体地，我们对三个模型（Transformer、Pos Transformer和Hybrid GAT）中的attention输出结果进行了可视化。例如，当我们关注“horrible”这个情感词汇，我们发现三个模型都能很有效地捕捉这一信息。但是，当使用Pos Transformer时，模型会进一步关注句子中的上下文词汇信息；当使用Hybrid GAT进一步考虑句法依存关系后，我们发现模型还会着重关注被修饰词，即“movie”。这有效地证明了GAST不仅可以融入显式的pos tag信息，还可以有效地捕捉句法依存关系。

最后，我们对GAST的自适应效率进行了验证。通过上图右侧的可视化统计图可以看出，GAST仅仅使用40%的训练样本就可以取得IATN使用80%的训练样本所达到的效果。与此同时，使用不同的句法图也会影响模型最终的性能，证明了在跨域情感分析问题中利用全域共享的句法特征的有效性。

05 总结

今天介绍的工作是我们利用图表征学习在跨域情感分析的探索实践。这一工作主要解决了跨域情感分析中“我要学习什么”和“如何去学”这两个核心问题。具体地，我们认为模型需要自适应的学习图结构信息，包括pos tag和句法依赖关系。基于此，我们设计了图自适应语义迁移模型GAST建模上述图结构信息。最终，我们通过大量的实验验证了GAST的有效性。

在未来工作中，我们会利用美团业务场景中百亿级的无标签评价，使用跨域情感分析模型更有效地挖掘各个场景下包含的用户情感信息，极大地省去人力标注成本。大家如果有什么其他问题，可以参阅论文或者邮件联系我们:

http://home.ustc.edu.cn/~sa517494/

06 Q&A

Q：基于NLP自适应地学习图结构特征进行跨域情感分析的框架能不能使用在其他的跨域NLP任务中？

A：例如跨域对话任务，我们可以在其中的某一个阶段去运用跨域情感分析。还有其他一些应用，虽然整个跨域情感分析的框架并不适用，但是跨域情感分析的建模思想是可以被借鉴与运用的。

Q：BERT这类大规模语言模型，它已经在大规模预训练数据集中学习到了部分语言学信息；而GAST提出了显式地引入句法依存关系来帮助模型学习语言学特征。那么目前学习一个通用的语言模型来捕捉语言学信息比较有效，还是像GAST利用先验知识显式地建模语言学信息效果较好？

A：尽管预训练语言模型生成的embedding一定会包含这个单词本身所含有的语言学特征，但这个特征是通过通用语料生成的，并不一定可以有效地在下游任务中加以利用。例如情感分析任务，使用pos tag信息可以显式地使单词的embedding包含句法信息，更具有可解释性。目前，将语言学知识增加入预训练语言模型的工作渐渐兴起，如ACL2022中很多论文利用了pos tag标签或者句法依赖来提升下游任务的表现。

Q：句法图结构的质量会不会对实验结果产生较大的影响？

A：句法图结构的质量确实会对模型效果产生很大影响。我们在实验中尝试使用不同的外部工具来生成句法依赖树。当我们不使用依赖树进行建模，那么我们的实验效果就不是很理想；当我们使用Stanford的句法分析工具生成依赖树时，相较于不使用句法依赖树，我们的模型效果有了一定的提升；当我们使用近期提出的Biaffine Graph方法生成更高质量的句法依赖树后，模型的效果相较于前两者有了更明显的提升。