选择阅读答案 赛尔 | 充分利用候选项的选择型机器阅读理解模型

作者:朱，，韦福如，，刘婷。

联系电子邮件:hczhu@ir.hit.edu.cn

本文介绍了哈尔滨工业大学社会计算与信息检索研究中心在朱微软公司实习期间完成的AAAI2018论文《多项选择阅读理解的分层注意流》中的工作。

1. 引言

机器阅读理解是近年来最流行的自然语言处理任务之一，旨在通过阅读理解来评估和促进机器对自然语言的理解。就像我们考试的阅读理解，给定原文和题型，通过对比机器答案和标准答案来计算分数。

图1的示例

根据答案的不同形式，我们可以将机器阅读理解的任务分为不同的类型。本文介绍的工作是针对机器阅读理解与选定的问题。每个问题包含几个考生，只有一个是正确答案。图1是一个具体的例子。之前的工作主要集中在基于对问题和原文理解的答案选择上。整个过程可以定义为考生在答题中的作用没有得到充分发挥。但是我们发现，在很多情况下，考生对于理解问题和原文起到了积极的作用，对于很多模糊的问题.基于此，我们通过两种方式充分利用模型中候选人的信息:

1.同时，将原始信息与候选项和问题结合起来，增强对原文的理解。

2.考虑考生之间的关系，加强对考生的理解。

求解过程建模为，引入文本的层次结构，使原文、题型和考生在单词级和句子级充分互动。下面的文章将详细介绍这个模型。

2.模型介绍

图2模型总体结构

我们提出的神经网络模型的整体结构如图2所示。我们按照从左到右、从下到上的顺序介绍模型的各个部分和功能。

2.1基于原问题，候选人说

像大多数机器阅读理解模型一样，输入单词被映射到相应的单词向量，然后上下文信息被双向RNN建模。但同时我们考虑原文中文本的层次结构，构建基于词的句子表征，进而构建以句子为基本单位的更高层次的结构表征。

首先，使用双向GRU对原句、原问题和候选词中的词级语境进行建模。

不同的问题会让我们注意到原句和考生的不同部分。为了得到适合具体问题的表征，可以通过对原句和候选的词级关注，得到基于问题的原句级表征和候选表征。

考虑到原文中句子之间的顺序关系，我们再次使用双向GRU对原文中句子的上下文进行建模。

2.2介绍考生，增强对原文的理解

在现有的工作中，原始信息主要是通过计算问题对原始信息的关注权重来组合的。这种方法对于回答非常清晰且包含关键指示信息的问题非常有效，如纽约州颁布了什么法规关注集装箱以外的问题？包含法规、纽约州和饮料容器等指令的。然而，对于这样的问题，可以从文章中得出结论。，该模型不能通过问题本身来确定原文的哪一部分与回答问题相关，但是候选人包含可用的信息来帮助指导原文中相关部分的选择。具体来说，通过候选项计算原句的关注度权重，然后结合原信息。该模块综合每个选项对原文的关注度。

2.3模拟候选人之间的关系

当我们在阅读理解中回答一些选择题时，我们会对考生进行比较，最终确定正确答案。我们通过候选人之间的注意力权重来模拟这个过程。首先计算第一候选人对其他选项的关注度权重，然后将其他选项的信息合并成。受文本蕴涵模型的启发，通过减法对关系进行建模，最后通过拼接得到增强的候选表示。

2.4答案预测

在答案预测阶段，我们使用与Lai等人相同的方法，通过双线性函数计算每个候选人的得分。得分最高的候选是模型预测答案。

3.实验结果

本文以大规模机器阅读理解数据集RACE为实验数据集，每个问题对应四个考生。RACE-M和RACE-H分别代表初中和高中的难度，准确性作为评价指标。表1显示了模型在RACE测试集上的实验结果。可以看出，我们的模型在RACE-M、RACE-H和RACE上明显优于Standfor AR和GA Reader 的两种神经网络模型。

表1测试集的实验结果

表2给出了分离各个模块后在开发集上的实验结果，说明用候选项加强模型对理解原文有非常重要的作用，同时选项之间的关系也有助于提高模型的准确性。

表2开发集分离的实验结果

4.结论

对于选择题的机器阅读理解，充分挖掘考生在答题中的作用，在利用考生加强对原文理解的同时考虑考生之间的关系。结合文本层次结构，原文、题型、考生可以在单词层面和句子层面充分互动。在RACE数据集上的实验结果充分证明了该模型的有效性。

5.引用

赖，g；谢，问；刘，h；杨，y；和Hovy，E. 2017。种族:来自考试的大规模阅读理解数据集。《欧洲自然语言处理学报》，796–805。

陈，丁；博尔顿，j；和曼宁，哥伦比亚特区，2016年。对美国有线电视新闻网/每日邮报阅读理解任务的彻底检查。在美国公民自由联盟议事录，2358–2367。

d ingra，b；刘，h；杨，z；科恩，w；和Salakhutdinov，R. 2017。用于文本理解的门控注意力阅读器。在《美国国际法学报》，1832-1846年。

陈，问；朱，x；凌，z-h；魏，s；蒋，h；和墨水笔，D. 2017。自然语言推理的增强型lstm。在《美国国际法学报》，1657–1668。

本期主编:丁晓

本期编辑:刘源兴

主编:车万祥