基于词义及语义分析的问答技术研究

论文摘要

随着信息技术的发展,人们可用的数据资源呈爆炸式增长。在面对这些海量数据时,用户需要有强大的检索工具来帮助自己找到所需的信息。开放域问答(Question Answering,QA)研究的目标是给人提供比现有搜索引擎更自然、更直接的信息访问交互界面,用户可以用提问的形式提出信息查询需求,系统能直接将答案和支持信息一起返回给用户。本文对开放域问答系统的最重要的三个部分:问题分析、句段检索和答案抽取进行了分别研究。在第二章提出了一种新的基于疑问词和焦点词词义的中文问题分类方法,首先利用CRF模型自动识别问题中的疑问词和焦点词,通过对疑问词和焦点词的词义消歧,获得它们在《同义词词林(扩展版)》上的三层到五层的词义,结合问题中的其它全部非停用词和词性,训练得到SVM模型来分类。实验表明,疑问词和焦点词特征的使用,显著提高了问题分类性能。在本文的第三章,对句段检索进行了研究,探索了一种新的基于词义分析的句段检索方法,取得了不错的实验效果。本文的第四章对问答系统中难度最大的一部分答案抽取和生成进行了研究。提出了一种新的基于语义角色标注的答案抽取技术,相关实验结果表明,利用语义角色标注的结果,同时结合词袋方法来选择答案句,能够显著提高系统的性能。最后,本文在第五章设计并实现了一个自动问答系统,并对这个自动问答系统进行了基本的性能评测。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 开放域问答系统通用的体系结构
• 1.3 问题分析
• 1.4 相关文档和文档句段检索
• 1.4.1 简单事实型和列举型问题的相关文档检索
• 1.4.2 简单事实型与列举型问题的相关文档句段检索
• 1.4.3 定义型问题的相关文档检索
• 1.5 答案的抽取和生成
• 1.5.1 事实型与列举型问题的答案抽取排序
• 1.5.2 定义型问题的答案抽取和生成
• 1.6 中文开放域问答技术研究现状
• 1.7 TREC自动问答评测
• 1.8 本文的主要工作
• 第2章 基于疑问词和焦点词词义的中文问题分类
• 2.1 引言
• 2.2 基于CRF模型的问句疑问词和焦点词自动识别
• 2.3 基于疑问词和焦点词词义的中文问题分类
• 2.4 实验结果与分析
• 2.4.1 实验数据与评价方法
• 2.4.2 问句疑问词和焦点词自动识别的实验结果
• 2.4.3 选择不同特征时的SVM分类实验结果
• 2.5 本章小结
• 第3章 基于词义分析的句段检索技术
• 3.1 基于向量空间模型的tf-idf方法
• 3.2 基于同义词词典的词义表示
• 3.3 基于词义的向量空间模型（WSVSM）及模型融合
• 3.4 实验及分析
• 3.5 本章小结
• 第4章 基于语义角色标注的答案抽取技术
• 4.1 引言
• 4.2 相关研究工作
• 4.3 问题与候选句间浅层语义树kernel的计算
• 4.3.1 问句到陈述句形式的转换
• 4.3.2 浅层语义结构的树状表示
• 4.3.3 基于树kernel的浅层语义树状结构相似度计算
• 4.3.4 浅层语义树kernel中结点产生式的相似性判断
• 4.4 实验
• 4.4.1 实验设置
• 4.4.2 实验结果与分析
• 4.5 本章小结
• 第5章 自动问答系统的实现及评价
• 5.1 问答系统一般核心构架
• 5.2 具体系统实现框架
• 5.3 问答系统在Internet的发布
• 5.4 实验结果及系统评价
• 5.5 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢