exploiting 情感分析与推荐算法专场（视频+实录+PPT）| AIS预讲会全程干货分享

“AIS2018(ACL，IJCAI，SIGIR)论文预讲座”全程干货

2018年6月9日至10日，代表学术界和工业界的顶级交流活动“2018年国际学术交流大会(ACL，IJCAI，SIGIR)论文预讲座”在京举行。讲座前会有10场专题，信君会为你带来干货的全过程。后台回复AIS，获取发言人的公众PPT。

核心阅读读者论文交流群，请加一个小微信号:知知诸暨。等你。

AIS (ACL、IJCAI、SIGIR) 2018

第一场:感悟与推荐

以下分享内容根据演讲者的口头分享进行排列。详见论文。

1中国科学院计算研究所，PG One

利用兴趣点特定的地理影响进行兴趣点推荐

随着移动互联网的发展，出现了很多基于位置的社交网络(LBSNs)，如Foursquare、Gowalla等。在LBSNs中，用户可以登录兴趣点(poi)，分享访问体验，找到更多值得探索的兴趣点。据统计，截至2016年，Foursquare吸引了5000万活跃用户，累计有80亿用户的登录行为。由于LBSNs中的兴趣点数量非常大，为了更好地帮助用户找到感兴趣的兴趣点，LBSNs通常会为用户提供兴趣点推荐服务。

POI推荐和传统推荐有很多区别，比如地理影响:用户的登录行为是访问线下POI，所以会受到地理位置的影响，比如人们通常不会为了活动走太远。本文主要通过探索地理影响来提高兴趣点推荐的效果。

现有方法认为是地理影响使得用户签到的poi的经纬度在地图上显得集中，用一定的分布来对这种集中现象进行建模。但现有方法在建模时认为地理影响只与poi之间的距离有关，而忽略了不同poi之间的地理影响具有高度差异性和不对称性。

我们希望对poi之间的个性化地理影响进行建模，也就是说每一对poi都有一个特定的地理影响，这不仅与他们的距离有关，还与他们自身的特点有关。因此，首先，我们使用一个非线性函数来拟合地理影响和poi之间的距离之间的关系。其次，为了描述兴趣点的特征，我们为每个兴趣点引入了两个隐藏向量，分别表示兴趣点的影响和易感性。前者描述兴趣点引导用户访问其他兴趣点的能力，后者表示兴趣点接收其他兴趣点用户访问的可能性，两者的内积代表兴趣点之间的个性化影响因素。

2复旦大学马仁峰智能媒体计算实验室

基于交叉注意力记忆网络的多模态微博提及推荐

提任务是什么？提推荐类似于微博上用的“@”，提醒某人看一条推文，我的数据集在推特上被抓取。

为什么用户会采取提及动作？比如我需要推荐一个自己的产品，我会去拜访一个用我产品增加推广的名人；或者和朋友有一些良性互动，在社交平台上分享彼此的一些经历和看法；或者我已经达成了一定的合作或者完成了突破性的工作，我会提到我的合作伙伴来更好的推广自己，在社交平台上销售产品。因此，启蒙推荐具有重要的现实意义。

之前已经在这个话题上做了大量的工作。我暂且只举两个例子，一个是传统的人工构造特征的方法，一个是去年使用的深度学习法。以前的大多数方法仅限于使用文本信息。据Twitter季度报告显示，他们每月活跃用户超过3亿，每月新增推文量非常大，其中42%的推文是带图的。而且有图片的推文被转发的概率是没有图片的推文的1.5倍。如果我的一条微博有图片，我可以更好的推销自己。仅从这些数据来看，图像在社交平台的分析中起着重要的作用。

为什么我需要多种模式来完成提推荐的任务？

首先，这是我论文中给出的一个例子。我发微博的时候说买了个Mac。对于IT同事来说，首先想到的是电脑，而对于大多数女性朋友来说，Mac是她们最喜欢的化妆品品牌。不看图的时候，看到这样的句子会产生一定的歧义。有时候文字模棱两可，参考图片的信息来完善整个《提及推荐》是很有价值的。

所以我们从Twitter上构建了一个数据集，一开始选择了4000个用户，顺着它的历史爬下去，用提及和图片过滤掉推文，核心用户大概有3000个，然后记录下核心Twitter用户。

来说说我们提出的模型。该模型主要由三部分组成。第一部分，我有一条推文需要推荐，我需要很好的建模它的推文内容信息；然后，基于待推荐的推文内容信息，分别用于建模用户对文本和图片的历史兴趣。

这是一个完整的模型图。红色代表与图片相关的信息，蓝色代表与文本相关的信息。(所有图片都经过预先训练的VGG网16，最后一次均值汇集前的特征图形成图片的特征矩阵)

仔细观察每个模块，对于查询推文的信息建模，首先应用了共同关注机制。对于文本内容的特征矩阵，首先进行均值汇集，利用这个文本向量关注图片，然后利用生成的图片向量再次关注文本特征矩阵，对这个多模态tweet的整体表示进行建模。

为了后面的历史利益，其实就是把两个对称的模块分开。以文本信息为例，构建了一个待预测和推文的文本信息，并在此基础上对用户历史文本信息进行了分层关注建模。文本信息有两个层次，一个是句子层次，一个是单词层次，可以获得更好的文本历史建模。结合这三个因素来预测，可以堆叠很多层。

3蒋卓仁中山大学

异构图上基于层次表示学习的跨语言引文推荐

传统的学术搜索引擎大多是用同一种语言进行搜索和推荐。在跨语言的情况下，没有办法直接计算不同语言文本的本质信息，比如文本相似度。因此，它将面临一系列挑战:第一个挑战是所谓的信息需求转移问题。对于跨语言问题，最直观的解决方法是基于机器翻译来解决这个问题。但我们认为机器翻译和引文推荐有本质区别，因为基于机器翻译，我们总是需要找到语义相似的文本，而引文推荐需要找到相关的论文，也就是说相关的信号不一定有相同的语义和含义。

其次，既然引用关系很重要，就需要通过引用来学习相关信号。然而，我们发现跨语言引用关系在这个跨语言语料库中非常少见。我们在ACM和万方的数据库中进行了一项调查。平均来说，同语种的引用关系是同语种的28倍之多。

第三，还有很多其他类型的信息可以帮助我们进行引文推荐，但目前的研究大多是基于一系列人工定义的规则，如元路径等。我们想做一些更自动化的尝试，所以我们提出了我们的框架，异构图上的分层表示学习，来构建一个异构信息图，并将图上的节点投影到一个空房间中。在该算法中，最重要的是生成一组称为关系型有用性分布的概率分布，并通过概率分布自动探索异构图。我们将异构图分为两层，一层是全局的，即在图模式层，我们训练一组基于任务优化的关系型重要概率分布；另一个是本地的。在本地，我们依赖于一组任务无关的关系转移概率分布，这是在我们构建地图时确定的。最后，使用双层随机漫步来更好地探索异构图。

我们的工作基于基于随机游走的图嵌入框架。也就是说，在一个图上随机游走产生一系列节点序列，然后将每个节点类比为一个词，通过skip-gram产生节点的表示。

然而，目前随机游走图表示的学习方法仍然存在一些问题。

首先，传统的工作主要针对异构图，不能直接应用于异构图。

其次，还有一些异构图表示的学习工作，比如metapath2vec等。，但是它们中的大多数需要一些先验的人类知识，并且不能完全自动化。

第三，目前的方法没有很好地利用全局信息，主要是基于局部信息，像图模式这样的信息可能会带来一些帮助。

第四，我们发现大部分方法都是对网络拓扑信息进行编码，但是能否在节点表示中嵌入一些任务相关的信息，即根据不同的任务优化不同的节点表示。因此，我们提出了一系列关系类型有用性分布，根据不同的任务优化不同的节点表示，并学习不同边类型的重要性。

最后，我们的算法框架从三个方面扩展了传统的基于随机游走的图嵌入框架，一是基于异构图，二是通过分层两层随机游走生成异构节点序列，三是通过异构跳图生成节点表示。算法细节请参考我们的论文。

在实验中，我们在ACM和万方数据集上进行了基于中文论文的英文论文推荐实验，并与17组基线进行了比较，取得了最好的效果。具体实验详见我们的论文。

最后，综上所述，首先，我们提出了一种异构图表示的学习方法；其次，我们试图通过学习关系类型有用性分布来提高算法的可解释性；第三，我们在跨语言引文推荐这样一个具有挑战性的任务中验证了该模型；第四，我们的工作实际上可以应用于其他任务，只要该任务可以被建模为异构图上的分层表示学习。

4中国黄金人民大学

用知识增强的记忆网络改进顺序推荐。

在推荐工作中使用知识库和记忆网络可以处理长期数据问题(可以获得基于属性的用户偏好表示，可以处理长期数据问题)。

我们的模型由RNN和关键价值记忆网络组成，它们将获得两者的优势。利用知识库的信息来增强模型的语义表示具有很高的可解释性。

我们的模型框架由两部分组成:时间序列推荐和关键值记忆网络。

首先，我们模型的第一个模块是基于RNN的网络，我们选择GRU，输入一个给定用户的历史记录，计算用户的时序偏好表示。我们可以通过时间偏好表示和项目得到第t次用户对项目的偏好得分，我们会推荐得分高的用户。

第二个模块是知识增强部分。首先，使用键值存储网络，即键值存储存储项目的关系属性。比如电影，可能有导演和演员的关系，Value Memory在对应关系中存储用户的具体喜好。比如喜欢詹姆斯卡梅隆这个导演。事实上，对于键值存储网络，它将每个存储器分成两部分，一个键向量和另一个值向量，它们以一对的形式存在于存储器中。这里需要注意的是，存储在密钥存储器中的向量由所有用户共享，而存储在值存储器中的向量对于每个用户是唯一的。

该模型的操作是从GRU获取用户的时间偏好表示，并将时间偏好表示输入键值存储网络，以获取用户在属性上的偏好。另一部分是键值存储网络的读写操作。当用户有新的交互记录时，我们使用item来更新用户记忆网络的向量表示。

我们主要对四批数据集做测试，从Freebase的一个API离线获取它们对应的实体表示。我们考虑两个任务，一个是下一项，一个是下一节，有几个评价参数。

考虑到非时间序列和时间序列的基线，实验结果相当好，并做了其他分析。最后，进行了定性分析实验。我们的主要分析在两个层面上是可解释的，一个在属性层面，另一个在价值层面。

该工作主要集成了基于GRU的时间序列推荐和知识增强的关键值记忆网络，能够有效地提高其语义表达能力。我们已经建立了四批数据集，并且对这四批数据集有很好的表示。

我们未来的工作可能会集中在测试模型的泛化能力上，考虑非结构化数据和一些有噪声的文本数据。

5中国秦川科技大学

提高人才招聘的人职匹配度:一种能力感知的神经网络方法

复旦大学彭

具有目标领域特定信息的跨领域情感分类

7徐晶晶北京大学

使用循环强化学习的不成对情感-情感翻译

8 .哈尔滨工业大学范创(深圳)

用于基于方面的情感分析的基于卷积的记忆网络

与传统的文本情感分类不同，方面级情感分类需要判断文本中不同对象的情感倾向。例如，在以下示例中，同一段文本显示了三种不同的情况:针对三个不同目标的积极、中立和消极。

目前，这项任务面临的主要挑战如下:首先，如何对文本和目标之间的关系进行细粒度建模，我们知道文本中一个单词的具体含义往往由其上下文决定。如何对基于多词的复杂情感表达进行建模也是一个值得考虑的问题。

在以往的研究方法中，从最早的基于特征的方法到目前基于深度学习的循环注意机制，都取得了相当不错的效果，但这些方法都没有充分考虑到刚刚提到的多词复杂情感表达的建模。为了解决这个问题，我们提出了一种基于卷积运算的注意力机制。

在我们的方法中，我们选择记忆网络作为模型的基本框架，模型的输入是目标嵌入。我们将它应用于不同的存储单元，并为每个单元分配一个权重。我们希望以这种方式来模拟文本和目标之间的关系。最后，存储单元的线性组合被用作最终的分类特征。

由于深度模型，往往对数据有更好的拟合能力，单层内存网络可以扩展到多层。这一次，对于I层，其输入来自上一层输出，其输出可以作为下一层输入。最后一层的输出是我们最终的分类特征。该模型虽然解决了文本与目标之间关系的建模问题，但仍然缺乏对之前复杂情感表达的建模能力。

在我们的模型中，我们通过双向GRU提取文本的序列特征，我们的输入也是目标嵌入。此时，在计算每个位置的权重时，我们不仅要考虑当前的存储单元，还要考虑之前的T个存储单元和后续的T个存储单元。我们希望以这种方式显示每个职位的背景。

此时，我们得到一个实际包含(2t+1个存储单元)的αi。此时，当我们的αi作用于不同的机器单元时，我们可以得到整个模型的2t+1个机器输出，我们称之为oj。我们连接这些2t+1机器输出oj作为最终的分类向量。

我们做一个卷积运算窗口大小对性能的影响。当k等于1时，我们的注意机制退化为传统的注意机制，而当k等于3时，我们实际上考虑的是当前位置的前一个词和后一个词，由三个单位组成。此时，模型获得最佳性能。当我们考虑更多的上下文时，我们认为性能下降的原因是上下文中可能有比有用信息更多的噪声。

注意机制的可视化结果中有两种现象值得关注。首先，我们的模型的注意力集中在文本的一些区域，这些区域对应于文本中多个单词的表达。另外，随着层层叠加，模型的注意力逐渐转移，也从侧面证明了模型的注意机制的有效性。

总的来说，我们的工作主要包括以下三个方面。首先，我们以内存网络为基本框架。同时，为了捕捉基于多个单词的复杂情感表达，我们提出了一种基于卷积运算的注意机制。实验的定性和定量分析也证明了该模型的有效性。

留言赞朋友圈

我们来讨论一下AI落地的最后一英里