中—英文跨语言问答式信息检索技术研究

论文摘要

随着计算机网络技术的发展,全球互联网用户快速增长,网络信息资源语种也日益多样,跨语言信息检索已成为越来越重要的研究课题,同时自动问答技术是自然语言处理领域中一个非常热门的研究方向,它综合运用了各种自然语言处理技术。跨语言问答式信息检索兼有跨语言信息检索及问答式信息检索两个方面的内容,对用户跨越语言壁垒,实现无障碍式交流具有一定的现实意义和实用价值。跨语言问答式信息检索系统是集自然语言处理技术和信息检索技术于一身的新一代搜索引擎。它的出现旨在提供更有力的信息获取工具,以应对信息爆炸带来的严重挑战。问答式信息检索一般包括三个主要组成部分:问题分析、信息检索和答案抽取,本文针对中-英文跨语言问答式信息检索,主要研究了以下三个方面的问题:1.中文问题分析。中文问题的分析是问答系统首先进行的重要工作,这个过程分析的效果对后面的处理过程有着重要的影响。问题分析部分包含下几部分工作:首先要对问题进行分词,名实体识别以及词性标注,然后确定问题的类型、提取出问题的关键词、依据问题的类型等因素对关键词进行适当的扩展。2.中-英跨语言检索模式。跨语言模式是连接双语信息的桥梁,跨语言模式研究的目的就是能够通过使用提问语种的提问式在信息系统中检索出符合要求的多种信息语种的相关信息。跨语言模式部分包含基于双语词典统计的跨语言模式,以及基于机器翻译工具的跨语言模式。3.英文答案抽取。英文答案的抽取是跨语言问答系统中最为重要的核心技术,也是决定系统效用以及精确度最关键的步骤。本文给出的英文答案抽取研究包含两方面内容:一个是返回包含问句答案的全部可能文档,即问句答案初选研究;另一个是在返回的可能包含问句答案的文档中,根据问句类型的不同情况,最后抽取出正确的答案,即问句答案抽取研究。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 本文研究的目的与意义
• 1.2 跨语言问答式信息检索相关研究综述
• 1.2.1 跨语言问答式信息检索的研究现状
• 1.2.2 跨语言问答式信息检索的评测机制
• 1.2.3 跨语言问答式信息检索主要方法
• 1.2.4 跨语言问答式信息检索所涉及的NLP技术
• 1.3 本文的研究内容及组织
• 第2章 中文问题分析的研究
• 2.1 引言
• 2.2 CLQA系统的总体框架
• 2.3 中文问题的名实体识别
• 2.3.1 隐马尔科夫模型描述
• 2.3.2 Viterbi算法
• 2.3.3 中文问句的名实体分类识别
• 2.4 中文问题的分类
• 2.5 中文问题的关键词选取
• 2.6 本章小结
• 第3章 中-英文跨语言模式的研究
• 3.1 引言
• 3.2 基于双语词典统计的跨语言模式
• 3.2.1 构建中英文对照词典
• 3.2.2 训练中英文对照词典权值
• 3.2.3 构造中英文人名翻译词典
• 3.3 基于机器翻译工具的跨语言模式
• 3.4 本章小结
• 第4章 英文答案抽取的研究
• 4.1 引言
• 4.2 问句答案初选
• 4.3 问句答案抽取
• 4.4 实验结果及分析
• 4.5 本章小结
• 结论
• 参考文献
• 附录
• 致谢