论文概要
论文地址,发表于 2014 年。 本文的作者在同年发表了另一篇论文,将上一篇论文称为 A,此论文称为 B,对于 A 论文我也做了论文笔记,本论文是上一篇论文的改进版。A 只是对简单问题进行研究,B 研究如何改进模型并回答更复杂的问题。 开放域问答中的一流技术大致可以分为两大类:1)基于信息检索;2)基于语义解析。信息检索系统首先通过 KBs 的搜索 API(转换方式估计是手写模版,论文中未细说) 将问题转换为有效的查询语句(比如 neo4j 数据库的 CQL)以此检索到大量的候选答案,然后再仔细地识别准确的答案(Kolomiyets O 等 2011,Unger C 等 2012,Yao X 等 2014)。语义解析旨在通过语义分析系统正确解释问题的含义,解释步骤的做法是把问题转换为数据库查询语句(这里的查询语句应该是逻辑形式,比如组合范畴法),以此查询到正确的答案。尽管这两种方法有能力去处理大规模知识库,但是需要专家手动的创建词汇、语法以及 KB 协议才能有所成效。且没有通用性,无法方便地扩展到具有其他模式、更广泛词汇或英语以外语言的新数据库。 相反,Paraphrase-Driven Learning for Open Question Answering 提出了一个几乎不需要人工注释的开放域 QA 框架,虽然这是一种有趣的方法,但是它被其他方法超越了。即第二段提到的论文 A。 相比于论文 A,作者作出了以下几点改进:1)对于候选答案,考虑更多更长的路径(之前只考虑了 main entity 周围的结点);2)对候选答案进行更有意义的表示:答案的表示包含问答路径以及周围的子图。
任务定义
假设所有潜在的答案都是 KB 中的实体,当 KB 中不存在该实体时,可以使用一些方法解决(论文中具体没说,只是说了一种极简单的方式:When this entity is not given, plain string matching is used to perform entity resolution)。 此外 N 代表词典的大小,其中 \(N = N_W + N_S\),\(N_W\) 代表词嵌入的大小,\(N_S\) 代表实体和关系的数量。
改进:考虑多维度的信息
以下描述一个候选答案的特征表示,论文将以三个角度进行表示: 1. Single Entity:此表示方式与上一篇论文一样,没什么讲究。就是 Freebase 中的一个实体,\(\psi(a)\) 代表答案的 1-of-\(N_S\)(one hot)表示; 2. Path Representation:答案被认为是一条 path,该 path 从问题中被提及的实体到答案实体。此实验中,考虑 1-hop 或者 2-hops 级别的 path。比如,(barack obama, people.person.place of birth, honolulu) 是 1-hop path,(barack obama, people.person.place of birth, location. location.containedby, hawaii) 是 2-hop path。这导致了 \(\psi(a)\) 代表 3-of-\(N_S\) 或者 4-of-\(N_S\) 的向量,至于为什么是 *-of-\(N_S\),显而易见。 3. Subgraph Representation:我们将 2 中的 Path 和连接候选答案的整个子图进行编码。具体看论文,写的有点看不懂。
我们的假想是将所有的信息都编码进表示以提高结果,但是这不大可能。所以还是采用将子图编码进表示的方法。下图即为实验的模型,右下角显示了编码方式。
实验
与论文 A 差不多,多了一个多任务训练,其他的细枝末节没仔细看。