thoughts TensorFlow 自动句子语义编码，谷歌开源机器学习模型 Skip-Thoughts

由新智元编辑

翻译:刘小芹

【倒计时9天，点击“阅读原文”抢票】中国AI 2017开幕式在即，三大亮点不容错过:1两会将汇聚BAT人工智能技术领军人物，洞察中国AI军团布局；2引爆AI力量，现场参加AI技术论坛；③人工智能创业者是辉煌的明星，看着投资领袖预测谁会成为中国AI独角兽。

【新智元指南】Google今天开启了一个新的句子编码器模型Skip-things，在TensorFlow上实现，学习将输入句子编码成固定维度的向量表示，可用于语义关联、释义检测、句子情感分类等任务。

跳跃式思维模式概述

跳跃思维模型是一个句子编码器。它学习将输入句子编码成固定维度的向量表示，这对于许多任务都很有用，例如检测定义或对产品评论进行正面或负面分类。关于模型架构和更多示例应用的更多细节，请参考瑞安·基洛斯等人的NIPS论文《跳过思维向量》。

经过训练的跳跃思维模型将在嵌入向量空中编码彼此相邻的相似句子。以下示例显示了电影评论数据集中某些句子的余弦相似度的最近邻域。

跳过思维模型是NIPS 2015论文跳过思维向量中描述的模型的TensorFlow实现，学习对句子的语义属性进行编码。

引文:Ryan Kiros，Yukunzhu，Ruslan Salakhutdinov，Richard S. Zemel，Antonio Toralba，Raquel Urtasun，Sanja Fidler。跳过思维向量。Innips，2015。

下载地址:https://papers.nips.cc/paper/5950-skip-thought-vectors.pdf

摘要:

我们描述了一种用于通用和分布式句子编码器的无监督学习方法。使用从书中提取的连续文本，我们训练了一个编码器-解码器模型，试图围绕编码段落重建句子。因此，语义和语法属性一致的句子被映射到相似的向量表示。然后，我们引入一种简单的词汇扩展方法，对训练不再期望的单词进行编码，使词汇量可以扩展到一百万个单词。在对模型进行训练后，我们使用线性模型提取和评估我们在八个任务上的向量，包括语义相关性、解释检测、图像句子排序、问题类型分类和四个基准情感和主观数据集。最终的结果是非专门设计的编码器，可以生成高度通用的句子表示，在实践中表现良好。

代码句子示例

这个例子的句子来自电影评论数据。

输出:

Github开源内容:

初级课程

安装所需的软件包

下载预培训模型(可选)

培训模式

准备培训数据

运行培训脚本

跟踪培训进度

扩展词汇

总结

准备

运行词汇扩展脚本

评价模型

总结

准备

运行评估任务

编码句子

开源地址:https://github.com/tensorflow/models/tree/master/skip _思想

新智元“3·27”AI科技峰会购票二维码: