航空领域知识自动提取技术初步研究

论文摘要

目前CBT开发水平日益提高,技术趋向成熟。在开发过程中,CBT系统需要大量的后台知识库做支撑。文本知识的自动提取成为CBT技术开发的关键技术之一。本文以实现CBT开发中知识获取的自动化为目的,研究和实现了采用信息提取技术和自然语言处理技术来处理航空领域培训材料知识的自动识别和提取。本文限定文本为航空领域教材,知识形式采用电子文本语言。人工总结出知识的典型句式,归纳出模式。并且利用正则表达式表达模式,对文本进行粗匹配。在粗匹配的基础上,采用知识的词语隶属度和句子隶属度对粗匹配得到的句子进行筛选。词语隶属度的计算使用专业语料库和普通语料库,先对这两个语料库进行分词,然后分别统计词频,通过得到的词频信息计算词语隶属度。句子隶属度的计算基于词语隶属度。对于同一知识重复出现的情况,本文目前采取了简单处理,使用文本分类方法VSM从中计算相似度,并从中选取值最大的,存入知识库。实验结果表明,开放测试时知识提取系统的平均召回率可达83.78%,正确率可达76.51%。最后提出本文工作总结和展望。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 知识提取的研究背景
• 1.1.1 CBT 技术
• 1.1.2 知识提取在CBT 技术开发中的意义
• 1.2 知识提取现状
• 1.2.1 信息提取技术现状
• 1.2.2 国内中文信息提取技术研究现状
• 1.2.3 中文知识提取的研究现状
• 1.3 课题研究的目标和内容
• 1.4 本文的组织结构
• 1.5 本章小结
• 第二章 课题相关理论
• 2.1 信息提取技术
• 2.1.1 信息提取系统性能的评估标准
• 2.1.2 自由文本信息提取技术
• 2.2 文本分类的相关知识
• 2.2.1 文本分类的概念和特点
• 2.2.2 向量空间模型
• 2.3 本章小结
• 第三章 知识分类模式统计
• 3.1 知识分类概念
• 3.2 本文知识的具体分类
• 3.2.1 文本内容的限定
• 3.2.2 实验语料的选择
• 3.2.3 限定文本的语言特点
• 3.3 航空书籍中知识类型的分类
• 3.3.1 涉及到单个事物的知识类型
• 3.3.2 涉及到多个事物的知识类型
• 3.4 航空领域术语定义的模式及其特点
• 3.4.1 航空领域术语定义的模式
• 3.4.2 航空领域术语定义的新特点
• 3.5 本章小结
• 第四章 知识提取系统的设计与实现
• 4.1 模式规则的获取方法
• 4.2 正则表达式
• 4.2.1 正则表达式的概念
• 4.2.2 正则表达式的文字符号和字符集
• 4.2.3 使用正则表达式表示知识模式的实际应用
• 4.3 本系统模式规则库的设计
• 4.3.1 本文中模式规则设计考虑的因素
• 4.3.2 本系统模式规则的特点
• 4.4 知识的获取以及知识的表达
• 4.4.1 知识的获取
• 4.4.2 知识在本文中的储存方法
• 4.5 词语和句子的隶属度计算
• 4.5.1 隶属度的概念
• 4.5.2 本文使用隶属度的意义
• 4.5.3 词语隶属度和句子隶属度的概念和计算方法
• 4.6 系统的构架
• 4.6.1 系统的开发环境和开发工具
• 4.6.2 系统的流程图
• 4.6.3 模块一：利用模式规则进行匹配
• 4.6.4 模块二——使用模糊隶属度和排除规则进行处理
• 4.7 向量空间模型在本文中的应用
• 4.8 本章小结
• 第五章 实验结果及分析
• 5.1 实验结果
• 5.1.1 训练语料和测试语料
• 5.1.2 人工统计结果
• 5.2 结果评价与分析
• 第六章 工作总结和展望
• 6.1 工作总结
• 6.2 本文的不足之处和后继工作展望
• 致谢
• 参考文献
• 研究生阶段发表论文情况
• 附录1 词语隶属度计算示例
• 附录2 部分停用词表