基于UIMA的内容搜索

论文摘要

由于互联网迅猛发展和普及,电子文本信息迅速膨胀,如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。本论文正是在搜索引擎的应用背景下探索信息检索效果的提高下产生的。其中,文本分类作为信息检索的关键技术,可以在较大程度上解决信息杂乱现象的问题,方便用户准确地定位所需的信息和分流信息。本论文采用在UIMA（Unstructured Information Management Architecture,非结构化信息管理架构）框架下使用分类算法实现文本分类的高精度。该框架可以分辨出文本和其他非结构性数据中的语义,它超越了目前大多数搜索引擎所使用的关键词搜索方式,从而简化了分析非结构化媒体对象的系统的开发和部署,可以用来提供语义搜索和文本挖掘等功能。它还提供了一种具有标准界面的开放软件框架,以便为任何应用添加非结构化的信息分析能力;方便地跨数个不同供应商将分析软件工具与端到端的企业应用进行集成,这样加速创建可重新使用的全新分析软件构件。本论文的文本分类过程分为训练阶段和测试阶段。训练阶段有文本预处理,包括一般包括去除文档中的格式标记、过滤非法字符、字母大小写转换、去除停用词和稀有词、词干化处理和中文分词处理（N-Gram模型）等;特征项选择和提取,选用了交叉熵作为评估函数;分类模型使用了贝叶斯原理构造。测试阶段利用UIMA框架简化分析文档的系统开发和部署,以及使用了它提供语义搜索和文本挖掘的功能的相关组件,比如Annotator（标注器）,Common Analysis System（通用分析系统）,Analysis Engine（分析引擎）等;使用训练好的分类器对测试文档集进行分类,并用目前比较流行的混淆矩阵进行了精度评估分类准确率。通过实验对影响文本分类性能的各种问题进行深入研究,提出有效的解决或改进的方法和技术,使文本分类器能够具有更好的稳定性、快速性和准确性等特性,比如训练样本集的选择,跨语种的文本分类技术,文本信息过滤等。通过实验,在UIMA框架下从非结构化信息文本中提取出结构化的数据,对文档进行分类,评估分类准确率达到了约85%的较好效果。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 文本挖掘发展概况及现状
• 1.2 UIMA发展概况及现状
• 1.3 选题依据和意义
• 1.4 本文主要工作与创新
• 1.5 本论文组织结构
• 第二章 系统概述
• 2.1 系统总体设计
• 2.2 UIMA框架
• 2.2.1 基本组件
• 2.2.2 UIMA功能
• 2.2.3 UIMA中的XML技术
• 2.2.4 UIMA化自然语言处理工具——LingPipe
• 2.3 UIMA应用——文档分析
• 2.4 本章总结
• 第三章 文本分类
• 3.1 文本预处理
• 3.2 文本特征表示
• 3.2.1 文本特征
• 3.2.2 N-Gram原理
• 3.3 特征项提取和选择
• 3.3.1 常用的文本特征提取方法
• 3.3.2 交叉熵的文本特征选择
• 3.4 分类器模型
• 3.4.1 常用分类模型
• 3.4.2 朴素贝叶斯分类
• 3.5 文本分类评估
• 3.6 本章总结
• 第四章 文本分类具体实现
• 4.1 训练阶段
• 4.1.1 N-Gram及平滑技术
• 4.1.2 训练分类器
• 4.2 测试阶段
• 4.2.1 分析引擎描述符
• 4.2.2 文档标注
• 4.2.3 分类测试文档集
• 4.3 分类器评估
• 4.4 本章总结
• 第五章 文本分类的应用
• 5.1 文本搜索
• 5.2 在特定领域的应用
• 第六章 文本分类实验结果和分析
• 6.1 实验准备
• 6.1.1 文档集
• 6.1.2 实验输入和输出
• 6.2 结果及分析
• 6.3 本章总结
• 第七章 结论
• 7.1 本论文研究总结
• 7.2 前景展望
• 致谢
• 参考文献
• 在学期间的研究成果