中文问答系统中多策略答案抽取技术的研究

论文摘要

信息检索是自然语言处理技术的一个重要的应用领域,自动问答作为一种高级检索形式正逐步成为该领域研究的热点之一。本文主要讨论了中文问答系统中答案抽取的实现策略。本文首先进行了实现答案抽取策略的核心技术的研究和预备工作,包括测试问题集的构建、答案类型的判别、答案选择与评价、语义相似度计算等。实验表明,本文选用的语义资源《知网》能够有效地辅助答案类型判别和答案抽取中语义相似度计算等任务。并且,采用本文提出的答案类型判别方法,得到了令人满意的实验效果。针对事实类型问句,本文提出基于改进VSM、语义计算和句子模式特征等策略,并在融合以上方法的基础上,提出了多策略的答案抽取方法。该方法将句子中的命名实体与非命名实体区别对待,强调命名实体对句子意义限定的重要性。采用语义相似度代替关键词匹配。同时,提出使用滑动窗口,突出句子中的有效部分,从而降低由于断句不合理而造成的对句子得分的影响。在一个有205个提问的汉语问答系统测试集上,进行了多种答案抽取方法的比较实验。实验结果显示,本文提出的多策略答案抽取方法在人物、实体、组织机构、地点、数字及时间等事实类型问题的答案抽取方面均得到了较好的实验结果。对于复杂类型问题,采用基于知识的候选答案抽取策略,利用语义计算和改进编辑距离相结合的方法,将提问问句与问句候选集中的问句进行相似度计算并排序,作为间接获取问题答案的有效方法。实验结果表明,为解决复杂类问题提出的基于知识的候选答案抽取策略是有效的。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 答案抽取的研究意义
• 1.4 本文主要工作和组织结构
• 第2章 问答系统中答案抽取方法概述
• 2.1 答案抽取相关模型
• 2.1.1 答案模式
• 2.1.2 严格匹配模型
• 2.1.3 向量空间模型
• 2.2 答案抽取基本方法
• 2.2.1 基于规则的方法
• 2.2.2 基于统计的方法
• 2.2.3 基于句子相似模型的方法
• 2.3 评测标准
• 2.4 小结
• 第3章 答案抽取核心技术的研究
• 3.1 答案抽取过程
• 3.2 中文分词
• 3.3 命名实体识别
• 3.4 词语的语义相似度计算
• 3.4.1 语义资源的选择
• 3.4.2 相似度计算方法
• 3.4.3 词义消歧方法
• 3.5 测试问题集的建设
• 3.5.1 中文问答系统的问题分类体系
• 3.5.2 KECQA 问题集介绍
• 3.6 小结
• 第4章 多策略答案抽取技术的研究
• 4.1 答案类型的判别策略
• 4.1.1 答案类型判别步骤
• 4.1.2 实验
• 4.2 候选答案的获取策略
• 4.2.1 基于通用搜索引擎的候选答案获取
• 4.2.2 基于用户知识的候选答案获取
• 4.3 事实类答案抽取策略
• 4.3.1 基于改进VSM 的答案抽取
• 4.3.2 基于语义的答案抽取
• 4.3.3 基于句子模式特征的答案抽取
• 4.3.4 多策略融合的答案抽取
• 4.3.5 实验
• 4.4 复杂类答案抽取策略
• 4.4.1 基于知识的答案抽取
• 4.4.2 实验
• 4.5 答案选择策略
• 4.5.1 答案合并
• 4.5.2 基于投票策略的答案选择
• 4.5.3 基于Web 冗余的答案选择
• 4.5.4 实验
• 4.6 小结
• 第5章 问答系统的实现与改进
• 5.1 问答系统设计与实现
• 5.1.1 问句处理
• 5.1.2 信息检索
• 5.1.3 答案抽取和选择
• 5.1.4 系统评价
• 5.2 问答系统模型的改进
• 结论
• 附录Ⅰ KECQA 测试问题集（部分）
• 附录Ⅱ KECQA 中文问答系统运行界面
• 参考文献
• 致谢
• 攻读硕士期间发表（含录用）的学术论文