0%

Improved Representation Learning for Question Answer Matching

论文概要

自从短文级别(passage-level)的问答匹配需要有效的表征以捕获问题与答案之间复杂的语义关联开始,它就成为一个巨大的挑战。本文我们提出一系列的深度学习模型去解决如何选择短文答案。 将短文答案与符合语义关系的问题相匹配,不同于之前的大多数工作,即只使用一个深度学习结构。我们开发了一个混合模型去处理文本,其中用到了 CNN 和 RNN,结合了两种结构提取语言信息的优点。 此外,还开发了简单而有效的注意力机制。在两个数据集 InsuranceQA and TREC-QA 上显示此模型超出基线。

导读

短文级别的答案选择是 QA 系统的重要组成部分之一。它的定义如下所示:给定一个问题和一群候选短文,挑选出包含候选答案的短文。 一个回答优于另一个回答取决于多种因素。尤其是不同于其他 NLP 对匹配任务,问题与答案之间语言上的相似度对我们的任务既可能有用也可能没用,这取决于问题。此外,虽然一个好的回答必须与问题相关联,但是它们之间没有共通的词汇单元。 因此,与基于深度学习的方法相比,这些挑战使得手工制作的特征变得不那么理想。此外,它们还要求我们的系统学习如何区分有用的片段和不相关的片段,其中更关注前者。

approach

作者开发一个模型,同时使用到了 CNN 和 RNN,并且还加上 attention 机制。 1. LSTM - q 和 a 分别输入 bi-LSTM - 拼接 bi-LSTM 的正反向向量 - 对输出向量做平均(因为序列中有多个词向量,所以需要取平均) - 做 max pooling 2. CNN 3. Attention LSTM