谷歌问答谷歌发布问答系统新语料，同时发布相关挑战赛

据雷锋的《AI技术评论》报道，1月23日，谷歌AI语言研究科学家汤姆·科维亚特科夫斯基和迈克尔·科林斯在谷歌AI Blog上发表博文，宣布发布新的语料库《自然问题》(NQ)，用于大规模训练和评估开放领域问答系统，旨在推动人们开发出更有效、更强大的问答系统。

开放领域问答是自然语言理解(NLU)中的一项基准任务，旨在模拟人们如何通过阅读和理解整个文档来寻找信息和问题的答案。给出一个用自然语言表达的问题(“天空为什么是蓝色的？一个问答系统应该能够阅读网页(比如这个维基百科页面)并返回正确答案，即使答案有点复杂冗长。但目前还没有大量公开的自然生成问题(如人们在寻求信息时提出的问题)及其答案，可以用来训练和评价问答模型。这是因为收集一个高质量的回答问题的数据集不仅需要大量真实的问题源，还需要大量的人力来找到正确的答案。

为了促进问答系统的研究进展，他们欣然出版了《自然问题(NQ)》，这是一个在开放领域对问答系统进行大规模培训和评估的新语料库，也是第一个复制端到端的过程让人们寻找问题的答案。NQ很大，由30万个自然出现的问题和维基百科页面上手工标注的答案组成，可以用来训练问答系统。它们还包括16，000个由五个不同标注器标注答案的例子，这有助于评估经过训练的问答系统的性能。电脑很容易回答琐碎的事情。因为在NQ回答问题需要比回答琐事更深刻的理解问题，基于这些数据，他们还组织了一场比赛，以帮助促进计算机自然语言理解的研究进展。雷锋。com

数据

NQ是一个数据集，它首先使用自然出现的查询，它专注于通过阅读整个页面来寻找答案，而不是从简短的段落中提取答案。为了创造NQ，他们从用户对谷歌搜索引擎的真实、匿名和聚合查询开始。然后，他们让播音员通过阅读整个维基百科页面来找到答案，就像他们自己提出了这个问题一样。注释者寻找包含推断答案所需的所有信息的长答案，以及用一个或多个单词简洁地回答问题的短答案。NQ语料库的标注准确率高达90%。

NQ的目标是使问答系统能够阅读和推理整个维基百科文章，其中可能包含也可能不包含问题的答案。首先，系统需要确定问题是否定义明确，是否可以回答——很多问题包含错误的假设，或者描述过于模糊，无法简洁地回答。然后，他们需要确定维基百科页面的任何部分是否包含推导答案所需的所有信息。他们认为，识别长答案的任务——找到推断答案所需的所有信息——比在知道长答案后找到短答案需要更深层次的语言理解。