中文问答系统中问题分析关键技术的研究

论文摘要

随着网络的飞速发展,对某一个问题,如何从海量的非结构化信息中找到合适的答案已越来越受到人们的关注,问答系统因此应运而生。人们期望它将来能够完全或者部分取代现在基于字符串匹配的信息检索技术,为人们提供一个更易使用的信息获取的人机接口。问答系统需要用户输入自然语言形式的问句,系统对问句进行分析处理,在网络上或其他信息源上搜索候选答案信息,然后对这些答案信息进行评定,生成自然语言形式答案。问答系统的最终目标是从信息源中抽取问题的答案,就需要通过对问句进行分析,分析要搜索什么内容,答案可能需要满足什么条件等。因此如何分析问句、从中了解问句包含的信息,成为问句处理乃至问答系统的重要任务。本文分析了目前的中文问答系统中问句分析技术,并结合自然语言处理技术,提出了一种基于句法结构和语义信息的问题分析方法。在问题分析过程中,实现了基于改进贝叶斯算法的问题分类和查询词扩展的功能,其中应用了依存句法分析和语义信息自然语言处理技术。本文详细论述了问题分析系统的相关算法、实现过程和关键技术。本文通过实验对问题分析系统进行评测,证明了本文采用的方法提高了问题分类的准确性,使问答系统能更好地理解问句,提高问答系统的检索效率。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 问答系统介绍
• 1.2 问答系统的分类
• 1.3 问题提出
• 1.4 本文研究的主要内容
• 1.5 本文的组织结构
• 第二章 相关概念、技术与研究背景
• 2.1 问答系统的相关概念
• 2.2 问答系统的关键技术
• 2.3 问题分析的研究现状及相关技术
• 2.4 本章小结
• 第三章 基于句法结构和语义信息的中文问题分析系统结构
• 3.1 系统总体结构
• 3.2 问题分析的框架及流程
• 3.3 问题分析的主要技术
• 3.4 主要资源
• 3.4.1 中科院分词工具ICTCLAS
• 3.4.2 哈工大依存句法分析器
• 3.4.3 知网
• 3.5 本章小结
• 第四章 问题分析系统中问题分类技术研究
• 4.1 问题类型学
• 4.2 句法结构分析
• 4.3 特征项的选择
• 4.3.1 疑问词以及附属成分提取
• 4.3.2 句子的主干提取
• 4.3.3 句子主干成分上位词的获取
• 4.4 问题类型计算
• 4.4.1 贝叶斯模型
• 4.4.2 改进的贝叶斯分类方法
• 4.5 本章小结
• 第五章 问题分析系统中的关键词生成技术研究
• 5.1 句法结构分析
• 5.2 句子的预处理
• 5.2.1 词汇的合并
• 5.2.2 停用词剔除
• 5.3 关键词的扩展
• 5.3.1 检索模块
• 5.3.2 对检索结果的snippet分词、提取
• 5.3.3 查询词的同义词获取
• 5.4 本章小结
• 第六章 问题分析系统分析与评价
• 6.1 问题类型分类技术评价与分析
• 6.1.1 测试数据集及评测标准
• 6.1.2 实验结果及分析
• 6.2 关键词生成技术分析与评价
• 6.2.1 评价标准
• 6.2.2 实验设计
• 6.2.3 实验结果及分析
• 6.3 本章小结
• 第七章 总结和展望
• 7.1 本文的工作总结
• 7.2 下一步的研究工作
• 参考文献
• 致谢
• 攻读硕士期间参加的项目及发表的论文