面向开放域的中文问答系统问句处理相关技术研究

论文摘要

问答系统是信息检索分支，属于精确检索，是国外信息技术的研究热点，但在国内还处于起步阶段。信息检索是信息社会的重要特征，各种检索引擎对人们帮助很大，但是如何使计算机更好地理解人的检索需求，如何获得精确检索结果，这些目前还处于探索阶段，问答系统正是这个方面的重要研究内容。本文系统地介绍了问答系统的研究内容及现状，对中文问答系统与问句处理相关的关键技术进行了较为深入的分析与探讨，实质性工作和创新点如下： 1) 研究中文问答系统的理论框架和系统结构，从总体上对问答系统形成一个较为清晰的认识，对其中的研究重点和难点进行具体的分析。 2) 建立一个小规模的问句句法标注语料库（目前国内在该方面还是空白，没有现成的资源可资利用），在此基础上，研究相应算法，派生出句法截断数据库和句法片段数据库，其中基于截断的片段和片段组合抽取算法具有很高的独创性和实用价值。为高效地建立句法标注语料库，设计研发了一个实用的中文句法编辑与分析辅助系统。 3) 在标注语料库的基础上，根据中文问句在语法语义上的特性，结合现有的语料库理论和方法，应用句法片段技术和语言学中关于句法截断理论，研究出一套基于DOP（Data-Oriented Parsing）的问句句法分析算法，实验表明，与其它句法分析技术相比，准确率有较大提高。 4) 根据中文问句的结构特征，结合文本分类技术中较为成熟的Baves计算模型等，对问句的归类进行处理，建立一个准确率较高的中文问句分类算法模型。 5) 在中文句法标注语料库的基础上，对中文问句句型进行统计分析，研究设计出一个问句句型自动识别和获取算法。 6) 对中文问答系统中的问句形式化处理、形式化扩展、信息搜索、检索结果的分析与筛选等进行具体的分析，并研究相关的实现算法。 7) 对问与答之间的关系作了初步的探讨，提出了陈述句派生疑问句的假设，并研究了各种不同的派生情况，讨论了基于ontology的复杂问题分解，初步分析了简单中文句式之间转换的技术方法和关键因素。

论文目录

• 中文摘要
• ABSTRACT
• 目录
• 1.绪论
• 1.1 问答系统概述
• 1.1.1 背景
• 1.1.2 问答系统的内涵及其优点
• 1.1.3 问答系统与信息检索的关系
• 1.1.4 问答系统的分类
• 1.1.5 问答系统的意义
• 1.1.6 问答系统的研究现状
• 1.1.7 问答系统的基本原理
• 1.1.8 现有问答系统的关键技术分析
• 1.2 中文问答系统的体系结构及其分析
• 1.2.1 中文问答系统体系结构构建的原则和目标
• 1.2.2 中文问答系统的体系结构
• 1.2.3 中文问答系统的处理流程
• 1.2.4 中文问答系统的检索源
• 1.2.5 中文问答系统的关键技术及其面向问答的ontology
• 1.3 研究课题的总体把握与方法侧重
• 1.4 本文的研究内容及其结构组织
• 1.4.1 主要研究内容
• 1.4.2 本论文的结构安排
• 2.中文问句标注语料库的建立
• 2.1 引言
• 2.2 中文问句标注语料库的建立
• 2.2.1 标注语料库基础和准备
• 2.2.2 标注语料库的内容及存储形式
• 2.2.3 句法截断数据库的建立
• 2.2.4 句法片段数据库的建立
• 2.3 中文句法编辑与分析辅助系统
• 2.3.1 辅助系统的具体功能
• 2.3.2 辅助系统的体系结构
• 2.3.3 两个关键的基础函数算法
• 2.3.4 辅助系统的运行示例
• 2.4 小结
• 3.基于DOP和结构特征的问句句法分析
• 3.1 引言
• 3.2 句法分析简述
• 3.2.1 经典的形式句法理论
• 3.2.2 句法分析常用算法
• 3.3 中文和中文问句特性分析及其句法处理
• 3.3.1 中文特性分析
• 3.3.2 中文句法分析中的困难
• 3.3.3 中文问句的特性分析
• 3.4 基于DOP和问句结构特征的句法分析
• 3.4.1 基于相似性的概率评估技术
• 3.4.2 基于DOP和问句结构的句法分析
• 3.5 实验设计及测试结果分析
• 3.5.1 测试实验及对比分析
• 3.5.2 优缺点分析
• 3.5.3 自学习功能的考虑
• 3.6 小结
• 4.基于结构分析与计算的问句类型判别
• 4.1 引言
• 4.2 问句类型的定义
• 4.3 问句分类的常见方法
• 4.4 基于贝叶斯计算模型的问句分类技术
• 4.4.1 贝叶斯模型简介
• 4.4.2 基于贝叶斯模型的问句类型计算
• 4.4.3 平滑处理
• 4.4.4 计算模型的改进
• 4.5 实验结果与分析
• 4.6 小结
• 5.中文问句的句型统计与分析
• 5.1 引言
• 5.2 汉语句型研究的现状
• 5.3 中文问句句型的作用
• 5.4 中文问句句型的定义
• 5.5 中文问句句型的自动获取
• 5.5.1 中文问句的句型分析
• 5.5.2 句型统计算法
• 5.6 小结
• 6.问句形式化及信息检索
• 6.1 引言
• 6.2 中文问句形式化及其扩展
• 6.2.1 疑问词处理
• 6.2.2 停用词处理
• 6.2.3 中文问句的形式化扩展
• 6.3 问答系统的信息检索
• 6.3.1 信息检索理论简介
• 6.3.2 搜索引擎和元搜索引擎
• 6.3.3 问答系统中信息检索
• 6.3.4 实验结果及其分析
• 6.4 小结
• 7.中文问句与答案的内在联系及其处理策略探讨
• 7.1 引言
• 7.2 问题与答案之间的关系探讨
• 7.2.1 类型1：由陈述句中一个事实点派生出的问句
• 7.2.2 类型2：由陈述句中两个以上的事实点派生出的问句
• 7.2.3 类型3：由陈述句中的短语派生出的问句
• 7.2.4 类型4：由多个陈述句（陈述句集合）派生出的问句
• 7.2.5 四种派生类型的分析比较
• 7.3 复杂问题分解
• 7.3.1 ontology简介
• 7.3.2 基于ontology的复杂问题的分解
• 7.4 中文问答系统中的句式转换
• 7.4.1 语言学中的句式转换分析
• 7.4.2 句式转换的基本方法
• 7.4.3 中文句式转换示例及其分析
• 7.5 小结
• 8.总结与展望
• 8.1 研究成果总结
• 8.2 研究的改进与前景展望
• 致谢
• 参考文献
• 附录1 部分中文问句标注示例
• 附录2 部分中文问句句型统计结果
• 附录3 基于语句相似度计算的FAQ自动回复系统设计与实现
• 发表论文及科研工作情况