AAAI 顶会| 一篇文章带你看完AAAI 2018优秀论文

小蚂蚁说。

AAAI，英文全称是人工智能进步协会，是人工智能领域的主要学术组织之一，其年会(AAAI，全国人工智能会议)也是世界上人工智能领域的顶级学术会议之一。

AAAI成立于1979年，在全球拥有4000多名会员。计算机科学领域的许多名人都曾担任过该组织的主席，包括艾伦·纽厄尔、爱德华·费根鲍姆、马文·明斯基和约翰·麦卡锡。

在本文中，蚂蚁金服技术团队在参加了今年2月在美国新奥尔良举行的人工智能高层会议“AAAI 2018”后写了一篇深度分享。在本文中，您可以看到本次会议各种优秀论文的解读，以及蚂蚁金服在AAAI的论文成果。

一.概述

今年AAAI共收到提交的3808篇论文，其中938篇被录用，比去年增加了47%。

从贡献国来看，中国的贡献量已经位居世界第一，就业量略低于美国。

那么，在AI的所有领域中，哪些研究方向更受关注呢？

可以看出，由于不同子领域都有论文，机器学习方法的贡献和就业数量最高。在所有子领域中，形象的贡献和就业排名第一，与去年相比，贡献和就业人数分别增长了257%和285%。

大家关注的另一个问题是:哪种轨迹纸更容易被接受？上图清楚地表明，AAAI近年来鼓励张文提交具有计算可持续性、不确定性推理和认知建模的文件，其就业率也很高。相反，AI算法应用、机器学习应用等应用的就业率相对较低。

本次会议的最佳论文提交给了艾伯塔大学的“记忆增强蒙特卡罗树搜索”。

https://web docs . cs . ualberta . ca/~ mmuler/PS/2018/Chenjun-Xiao-M-MCTS-aaai18-final . pdf

最佳学生论文提交给牛津大学的“反事实多主体政策等级”。

https://arxiv.org/abs/1705.08926

2018年AAAI经典论文奖(经过10年考察的成果)授予了2000年在美国得克萨斯州奥斯汀举行的第17届AAAI会议上最具影响力的论文:“PROMPT:用于自动本体合并和对齐的算法和工具”。

二、注重论文解读

接下来，我们介绍一些与各自领域相关的论文。有关更详细的分类和论文列表，请参见所附论文:图甘:利用生成对手网络进行图表示学习

近年来，关于网络表征学习(NRL)/网络嵌入(NE)的研究逐渐兴起，这里可以参考更多的文章:

https://github.com/thunlp/nrlpapers

这篇发表在《AAAI 2018》上的论文介绍了生成对抗网络(GAN)的框架，它将GAN和Graphlearning结合起来。关于这方面的调查，请参阅本文:

《图形嵌入综述:问题、技术和应用》

这两个热点利用发生器和鉴别器的对抗训练来学习网络特征，试图提高效果。

GraphGAN试图学习两个模型:(1)生成模型G(V|Vc)试图逼近一个真概率分布:p真(V | VC)；(2)决策模型D(V|Vc)，其目标是决定Vc和V之间是否存在边，利用经典的min-maxgame运算，在每次迭代中，从Ptrue中抽取一些与Vc相邻的实点作为样本，然后从g中产生一些与Vc相连的其他点，利用样本中产生的点作为正样本，g中产生的点作为负样本训练D，然后利用D中的信号依次训练g。重复这个过程，直到发电机g和Ptrue非常接近。为了克服softmax和分层softmax的缺陷，提出了一种Graph Softmax作为g的实现方法，并在5个公共数据集上进行了测试，证明了GraphGAN的效果。

论文:harp:面向网络的分层表示学习

Google在2013年发布了word2vec，引起了学术界和工业界的极大关注。该方法通过无监督学习将单词映射到低维连续向量，称为“单词向量”。词向量整合了词的语义信息，作为输入。自然语言处理的许多领域都产生了非常好的结果。在图计算领域，能否将图上的一个节点映射到一个低维向量空，图节点向量能够代表整个网络中节点的拓扑特征？

2014年，SGIKDD的一篇论文首次提出了一种解决方案，算法叫做deepwalk。在随后的几年里，NRL(网络表征学习)逐渐成为一个热门的研究方向，这个NRL的张文也来自《深度漫步》的作者布莱恩·佩罗齐的实验室。

传统算法都是“一次性”学习节点向量表示。与以往的工作不同，本文的核心思想是“分层”学习节点向量表示。首先，作者发现两个问题:

1.deepwalk、LINE、node2vec算法未能充分利用节点的高阶跳变信息

2.这些算法都是随机初始化的，没有找到好的初始化值。

基于这两个发现，作者提出了分层学习的方法。首先将相似节点折叠得到一个更小的图，然后从这个更小的图中学习节点的向量表示，然后将向量表示作为原始图的初始值，学习原始图上节点的向量表示。如果你连续折叠几次，然后从最折叠的图上一步一步地学习节点向量表示，再学习下一个较大图上的节点向量表示作为初始值，就构成了一种分层学习方法。

关于折叠模式，本文还列举了两种情况，一种叫做“边折叠”，另一种叫做“星折叠”，分别对应图上两种不同的节点连接模式。对于不同的倒塌模式，作者给出了具体的方法。

在与作者的对话中，发现HARP也为解决超大规模图的节点向量表示学习问题提供了一种新的途径，即当节点多且稀疏时，可以将其折叠，然后将折叠图上的节点向量表示直接作为原图的节点近似向量表示。当然，这种近似方法虽然提供了高效的计算，但也会带来一定的误差，实际效果有待研究。

HARP算法的流程如下:

其中，折叠函数的算法如下:

HARP的思路在三个算法上进行了改进:deepwalk，LINE，node2vec。作者分别在DBLP、布洛卡塔洛格和赛尔号上进行了实验。

在多标签分类实验中，可以看出哈珀对不同数据集有一致的改进。图中的横轴是训练集占总标记数据的百分比。另外，标注的训练数据越多，所有算法的准确率越高。同时，在不同百分比的训练数据下，HARP也有一致的提高。目前，该论文可从arxiv下载:

https://arxiv.org/pdf/1706.07845.pdf

论文:个性化隐私保护社交推荐

隐私数据泄露是社交推荐中常见的问题，即用户的个人隐私数据被邻居或社交网络中的推荐平台获取，导致泄露。为了解决这个问题，本文提出了一种在社交网络场景中保护用户隐私数据的推荐方法，即隐私保护。

隐私数据泄露问题如图。在这个推荐的例子中，共有4个用户和6个项目。U1，u2，u4，U4是正常用户，u3是坏用户。用户u1共评价了4项，其中R11和R13为敏感数据，即用户u1不希望其他用户和推荐平台知道，R12和R14为可以公开的数据。社交推荐场景中的一个假设是，好友有相似的偏好，所以当用户u1发布非敏感数据(R12和R14)时，坏用户(u3)和推荐者可以推出敏感数据。

PrivSR的推荐框架如图2所示。该方法是一种半分散的推荐方法，这意味着推荐平台只能获取用户的一些不敏感数据，而用户保留他们的敏感数据。

图中正确的模型有以下含义:

左上:用户隐私和公共数据，两者分别有噪声

右上角:用户u1可以访问的资源包括自己的分数、所有用户的不敏感数据、自己的好友集、所有项目的潜在向量、自己的用户潜在向量。

左下角:推荐者可以访问的资源，包括所有用户的非敏感数据和所有项目的潜在向量

右下:社会关系，这增加了关系强度的噪音，因为社会关系限制了朋友拥有相似的潜在载体

基于以上，可以获得以下目标函数:

第一行是敏感数据的误差优化，敏感数据的噪声，强度为x；

第二行是不敏感数据的误差优化和不敏感数据的噪声叠加，强度为y，其中不敏感数据的噪声叠加强度小于敏感数据的噪声叠加强度；

第三行是社会关系的正规化项，限制了朋友之间的相似偏好，给朋友之间的关系增加了噪音，强度为q；

第四行是正则化项，防止过度拟合。

同时，论文证明了加噪方法满足Differential隐私，有兴趣的可以查看论文细节。

本文选取了Ciao和Epinions两个公共数据集，采用MAE作为评价指标。对比结果如图3所示，从中可以看出，在数据完全开放的情况下，PrivSR比现有的社交推荐方法(Soreg)稍差。但是随着越来越多的数据变成私有数据，效果会越来越好，因为PrivSR可以使用这些数据。

论文:用于非平衡域适配的深度非对称传输网络

迁移学习技术是近年来流行的。主要思想是利用辅助域的丰富数据，帮助解决目标域数据稀缺导致的性能差的问题。张文提出的迁移学习方法主要是为了解决迁移学习中辅助领域和目标领域的标签数据匮乏的问题，即半监督学习问题。为此，张文首先提出了半监督深度学习模型，如图:

无监督部分使用自动编码器，损失函数为:

监督部分使用soft-max作为告别，损失函数为:

结合无监督和有监督损失函数，对于单个目标域或辅助域，整个损失函数为:

使用上述单个领域的训练结果作为以下迁移学习模型的初始化。迁移学习模型如下图所示:

迁移学习模型主要在监督和非监督两个方面进行优化。

首先，对于监管部分，本文使用了两个约束条件。第一部分是学习辅助域和目标域的线性变换G，即:

第二部分是利用这种变换将目标数据转化为辅助领域数据，然后利用它优化目标领域的分类结果，即，

文章声称这样做的目的是为了加强辅助域中丰富数据的使用，同时防止辅助域中无用数据的移入。

其次，对于无监督部分，本文使用最大平均差异(MMD)来约束辅助域和目标域的分布相似，即:

结合有监督和无监督部分，可以得到整个转移学习算法的目标函数:

本文采用块坐标下降法对模型进行优化，并在两个公共数据集上进行了丰富的实验。

受邀演讲:黛安概率机器学习

剑桥大学信息工程教授、优步首席科学家邹斌·格拉马尼回顾了深度学习的发展历史和概率人工智能领域的基础，并介绍了当前深度学习的一些局限性:

以及为什么有必要将概率引入深度学习模型:

然后介绍贝叶斯深度学习和概率建模的基本原理，解决深度学习中的不确定性:

他概述了贝叶斯深度学习的研究现状:

同时，他指出了概率模型预测过程中的一些主要问题，包括耗时和容易出错，这些问题可以通过实现一种概率编程语言来解决:

同时还介绍了优步目前名为Pyro的深度概率建模框架:

最后，更有意思的是，他给出了自己对未来深度学习的几个研究趋势的理解，其中自动机器学习是一个很有前途的。

三、蚂蚁金服AAAI 2018

今年，蚂蚁金服在AAAI 2018被录用。文章作者田吉和邢智在现场分享了这篇文章，引起了学者和观众的极大兴趣。

cw2vec:用Stroken-grams学习中文单词嵌入

这是AAAI今年聘请的蚂蚁金融人工智能系的一篇论文。为了解决无监督的中文词向量生成问题，我们设计了一种新的算法:cw2vec。该算法充分利用了汉语的语言特点，使机器理解了汉字之间的奥秘。在公共数据集上的准确性超过了谷歌的word2vec、斯坦福的手套、清华的CWE和其他业内最好的算法。

cw2vec作为基础研究成果，也登陆了蚂蚁和阿里的很多场景。在智能客服、文本风险控制、推荐等实际场景中发挥了作用。此外，不仅中文词向量，其他语言如日语、韩语也做了类似的尝试，相关发明和技术申请了近20项专利。

下图为作者田吉介绍cw2vec模型:

论文:“使用分散矩阵分解的隐私保护兴趣点推荐”

现有的兴趣点推荐系统都是集中式的训练方法，也就是说传统的矩阵分解技术，首先构建推荐系统的人(或平台)要获取用户行为的数据(如购买、点击、评分等)。)，然后利用这些数据构建矩阵分解推荐系统。这样做有两个缺点:

(1)存储计算资源的消耗。一方面，用户对商品的所有行为历史数据都必须集中存储在某个服务器上，浪费了存储资源。另一方面，训练矩阵分解模型时，需要在服务器机器上训练，模型的训练速度受到服务器机器数量的限制，浪费计算资源；

(2)用户隐私数据无法保护。因为用户对物品的行为历史已经被服务器获取，假设服务器不会主动泄露用户隐私，也有会被黑客攻击的事情，会导致用户隐私泄露。

为了解决这两个问题，我们提出了一种用户隐私保护的分散矩阵分解方法，如图1右侧所示。简单来说，用户的数据存在于自己的设备上，如手机、PADs等，不上传到服务器，解决了集中训练造成的存储资源浪费。另一方面，模型的训练也在用户端完成，模型的协同训练是通过用户之间交换非原始数据信息来完成的。这种分散训练方法可以看作是一种分布式算法，每个用户都是一个计算节点，因为它可以解决集中训练造成的计算资源浪费。

下图是作者邢志在AAAI会议上的介绍:

四.总结

通过参加会议，我们获得了更多业界最新的算法和经验。接下来，我们希望能够把这次会议的一些好想法放到阿里和蚂蚁的场景中，我们也希望未来在AAAI这样的人工智能峰会上展示更多中国的创新。

—结束—

蚂蚁金服科技，只是分享干货，您的转发是对我们最大的支持

欢迎在文末留言与我们交流~