问答对自动获取的研究

论文摘要

问答对的规模和质量是影响基于常问问题集问答系统性能的重要因素,目前所使用的问答对库一般是人工构建的,往往需要耗费大量的时间和人力物力。本文围绕问答对库构建过程中的网页问答对自动获取,领域问答对过滤及相关问答对过滤等技术进行了一系列的研究和探讨,主要取得了以下几个方面的成果：(1)提出了一种基于DOM的网页问答对自动获取方法。该方法将HTML页面解析成DOM树形式,抽取树的文本节点作为问答对的候选,根据DOM树的节点和结构信息提取分类特征,采用改进贝叶斯分类算法,构造分类模型,实现了从网页中自动获取问答对的方法。问答对自动获取实验结果表明,该方法具有较好的效果。(2)提出了一种结合句法结构关系和领域特征的领域问答对过滤方法。研究领域知识库构建方法,结合云南旅游领域特点,构建了云南旅游领域知识库。在句法结构分析的基础上,选取句子主干与领域词汇作为分类特征,采用改进贝叶斯分类器进行领域问答对过滤。实验结果表明,结合句法结构关系和领域特征进行领域问答对过滤具有很好的效果。(3)针对问答对特点,提出了一种面向词组合与句子的相关问答对过滤方法。该方法通过计算词组合或句子和问答对的相似度来判断两者是否相关。以“知网”为基础,计算词语语义相似度。在句法结构分析的基础上,提取问答对中的有效搭配对,并计算有效搭配对之间的相似度,从而实现了融合词法、句法和语义的问答对相似度计算。而向词组合与句子的相关问答对过滤实验结果表明,该方法具有较好的效果。(4)利用上述研究成果,搭建了网页问答对自动获取原型系统,云南旅游领域问答对过滤原型系统,面向词组合与句子的相关问答对过滤原型系统。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 论文的研究内容和组织结构
• 1.3.1 研究内容
• 1.3.2 论文组织
• 第二章 基于DOM树的网页问答对自动获取
• 2.1 引言
• 2.2 相关研究
• 2.3 基于DOM树的网页信息抽取
• 2.3.1 DOM（文档对象模型）介绍
• 2.3.2 HTML页面解析
• 2.4 网页问答对获取
• 2.4.1 分类特征的提取
• 2.4.2 朴素贝叶斯分类算法
• 2.4.3 改进贝叶斯分类算法
• 2.4.4 问答对的取舍
• 2.4.5 实验结果及分析
• 2.5 本章小结
• 第三章 结合句法结构关系和领域特征的领域问答对过滤
• 3.1 引言
• 3.2 相关研究
• 3.3 领域知识库构建
• 3.4 领域问答对过滤模型建立
• 3.4.1 停用词表构建
• 3.4.2 结合句法结构关系和领域特征的问答对分类
• 3.4.3 领域问答对过滤
• 3.4.4 实验结果及分析
• 3.5 本章小结
• 第四章 面向词组合与句子的问答对相关性及过滤方法
• 4.1 引言
• 4.2 相关研究
• 4.3 面向词组合的问答对相关性和过滤方法
• 4.3.1 词语相似度计算
• 4.3.2 面向词组合的相关问答对过滤
• 4.4 面向句子的问答对相关性和过滤方法
• 4.4.1 句子相似度计算
• 4.4.2 面向句子的相关问答对过滤
• 4.5 实验结果及分析
• 4.6 本章小节
• 第五章 原型系统的实现与评价
• 5.1 引言
• 5.2 网页问答对自动获取原型系统的设计和实现
• 5.2.1 系统整体框架
• 5.2.2 HTML页面解析
• 5.2.3 DOM节点句子的分类
• 5.2.4 问答对的取舍
• 5.2.5 系统评价
• 5.3 云南旅游领域问答对过滤原型系统的设计和实现
• 5.3.1 系统整体框架
• 5.3.2 云南旅游领域知识库构建
• 5.3.3 分类特征提取
• 5.3.4 云南旅游领域问答对过滤
• 5.3.5 系统评价
• 5.4 面向词组合与句子的相关问答对过滤原型系统的设计和实现
• 5.4.1 系统整体框架
• 5.4.2 有效搭配对的提取
• 5.4.3 相似度计算
• 5.4.4 面向词组合与句子的相关问答对过滤
• 5.4.5 系统评价
• 5.5 本章小结
• 第六章 结论及下一步的工作
• 6.1 结论
• 6.2 下一步的工作
• 致谢
• 参考文献
• 附录A 攻读硕士学位期间发表的论文
• 附录B 攻读硕士学位期间参与的项目
• 附录C 攻读硕士学位期间申请的专利及软件著作权