0%

Sequence-to-Action: End-to-End Semantic Graph Generation for Semantic Parsing

论文概要

某篇解析某篇解析 论文地址。 本文提出一种神经语义分析方法——Sequence-to-Action,将语义分析当做一个端到端的语义图生成的过程。我们同时使用了最近语义分析两个有前途的方向,首先我们的模型使用了一个语义图来表示一个句子的含义,该语义图与知识库紧密相关(博主注:即可以将语义图看作是知识库的一个子图)。其次,利用神经网络强大的表示学习和预测能力,提出一种 RNN 模型,能够有效的将句子映射到动作序列,从而生成语义图(博主注:此动作序列就是指生成语义图的动作,将这些动作看作是一个序列)。实验表明该方法在 OVERNIGHT 数据集上展现了一流的性能,在 GEO 以及 ATIS 数据集上得到了有一定竞争力的性能。 语义分析旨在将自然语言句子映射为逻辑形式(Zelle andMooney, 1996; Zettlemoyer and Collins, 2005;Wong and Mooney, 2007; Lu et al., 2008;Kwiatkowski et al., 2013)。例如“Which states border Texas?”将会被映射为 answer (A, (state (A),nextto (A, stateid ( texas ))))。 语义分析器需要两个函数,一个处理结构预测,另一个处理语义基础。传统的语义解析器通常基于复合语法,如 CCG(Zettlemoyer and Collins, 2005, 2007),DCS(Liang et al., 2011)等。不幸的是,设计语法和学习精确的词汇仍是一个挑战,特别是在开放域。而且设计有效的特性往往很困难,它的学习过程也不是端到端的。为了解决上述问题,本文提出了两种有前途的研究方向:基于语义图的方法和基于 seq2seq 方法。 基于语义图的方法(Reddy et al.,2014, 2016; Bast and Haussmann, 2015; Yih et al.,2015)将句子的含义表示为语义图(即知识库的子图,参考图 1 中的例子)并将语义分析视为语义图匹配/生成过程与逻辑形式相比,语义图与知识库有着紧密的关系(Yih et al., 2015), ,与句法结构有许多共性(Reddy et al.,2014)。基于语义图的句法分析的主要挑战是如何有效地构造句子的语义图,目前语义图是通过与模式匹配(Bast and Haussmann, 2015),从依赖树转换(Reddy et al., 2014, 2016),或者通过 staged heuristic search algorithm(Yih et al.,2015)构建的。这些方法都是基于人工设计的构造过程,它们很难处理开放/复杂的情况。 近年来,得益于 RNN 模型有较强的表示能力和预测能力,其在 Seq2Seq 模型上取得了成功,比如机器翻译。许多 Seq2Seq 模型也用于语义分析(Xiaoet al., 2016; Dong and Lapata, 2016; Jia and Liang, 2016),不需要高质量的词典、人工构建的语法和特性。这些模型通过端到端的训练,利用注意力机制(Bahdanauet al., 2014; Luong et al., 2015)学习句子和逻辑形式之间的软对齐。 本文提出了一种新的神经语义分析框架——Sequence-to-Action。它可以同时利用语义图表示的优点和 seq2seq 模型强大的预测能力。具体来说,我们将语义分析建模为一个端到端的语义图生成过程。例如,在图 1 中,我们的模型将通过生成一系列变量[add variable:a,addtype:state,…]来解析“which states border Texas”这句话。为了实现上述目标,我们首先设计了一个动作集,对语义图的生成过程进行编码(包括结点动作:add variable,add entity,add type,边动作:add edg 以及操作动作:argmin,argmax,count,sum 等)然后我们设计了一个 RNN 模型,该模型可以生成一个动作序列来构造句子的语义图。最后,我们在解码过程中合并结构和语义约束来进一步增强解析。

论文内容介绍