主题搜索引擎信息抽取技术研究

论文摘要

网络与信息技术的飞速发展使得互联网成为全球信息传播与共享的重要资源平台。互联网中信息量的几何级数增长,使得从Web上获取有用信息的难度变得越来越大。“信息过载”己经成为一个急待解决的问题。人们迫切需要一种可以像查询数据库一样查询Web上的数据的精确查询方法。因此,如何有效地组织和分析海量的Web信息资源,从中抽取出有用的信息成为众多研究工作希望解决的问题。近年来产生了主题搜索引擎,它是面向专业或主题的搜索引擎,只采集与用户需求相关的信息,帮助其迅速地获取其所需要的知识和信息,这就需要从Web资源库中抽取出特定的主题相关信息。目前,在主题搜索引擎所涉及的各项关键技术中,结构化信息抽取技术是其不同于通用搜索引擎的关键点。在以往的信息抽取技术中,多是对整个网页进行结构化信息抽取并生成包装器,由此生成的包装器在信息抽取中准确率不高。由于网页中的“非主题”信息参与了信息抽取的过程,可能会对抽取结果产生干扰,这样会影响最终包装器抽取同类网页的准确率。提高信息抽取的效率和准确率可以较大程度地提高主题搜索引擎的适应性,并且为用户提供高效而且准确的搜索结果。本文就是针对网页中结构化信息的抽取技术进行研究,通过有效可靠的方法来改进和提高信息抽取环节的性能和效率,并尽可能实现自动化信息抽取过程,以此避免人工的过度干预;力求能充分有效的利用各种资源,合理构建信息获取系统的体系结构。本论文研究主要包括以下几个方面的内容:1.研究Web网页的批量获取方法。为了获取主题搜索引擎所需要的专业领域信息,就必须要从internet中抓取相关页面作为原始资料。本文研究了Web页面抓取所需要的相关技术及抓取子模块的结构,并实现了一个简单的Web网页批量抓取器。2.研究Web网页的去噪方法。由于噪音的存在,严重影响到页面主题内容的识别,从而影响到最终搜索结果的质量和效率。因此清除网页中的噪音内容成为提高搜索引擎精度的重要保证和前提。本文对原有各类网页分块去噪模型的优缺点进行分析,将统计方法融入基于DOM的网页分块模型中,以此提升去噪效果和效率。3.研究中文文本的向量表示模型和特征向量的提取方法。文本特征表示的优劣直接影响到特征属性的提取,从而影响到后期的文本分类。从以往研究结果来看,向量空间模型的文本特征表示模型中特征词数量的多少与分类算法的效率有着密切关系,本文研究了特征词的提取方法,分析了基于空间向量模型的几种流行特征提取算法,然后深入研究了CHI算法并对其加以改进,以提高算法的性能和效果,更好的进行后期的文本分类处理。4.研究Web网页文本的分类方法。由于Web网页的数量庞大、缺乏可靠的标签信息等特点,对其加以有效利用就必须首先进行自动分类以获取较为可靠的类目标签信息,才能分门别类的进行后续处理。本文在经典朴素贝叶斯算法的基础上进行算法改进和系数调整,并在考虑到Web文本数据的特有的半结构化特点的基础上,在分类过程中提取并利用Web文本的结构信息,以此来加强分类效果,进一步减少分类误差。本文最后对Web网页文本的分类方法进行了对比实验,实验结果表明,文中提出的算法能够有效的提高分类精度,降低运算时间,适用于主题搜索引擎的信息提取。文中最后介绍了设计的主题搜索引擎的信息抽取系统整体架构和子模块的流程图及部分具体实现代码,供今后相关研究者参考。本文的创新点主要在于针对主题搜索引擎的信息抽取需求,提出了改进的网页去噪、网页文本特征提取和分类算法,经过实验验证,相比同类算法能有效的提高精度、降低时间复杂度。很好的适应主题搜索引擎网页文本信息抽取的需要。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 国内外研究现状
• 1.3 论文主要研究内容和意义
• 1.4 全文组织结构
• 第二章 Web 页面的批量获取与去噪
• 2.1 Web 页面的批量获取
• 2.2 主要Web 页面去噪方法
• 2.3 基于统计学特征和DOM 树的改进去噪方法
• 2.4 实验结果与分析
• 2.5 本章小结
• 第三章 文本的表示与特征提取
• 3.1 常用文本表示模型
• 3.2 基于VSM 模型的文本特征提取算法
• 3.3 基于改进的CHI 算法的文本特征提取算法
• 3.4 本章小结
• 第四章 Web 页面的分类方法
• 4.1 文本分类简介
• 4.2 实验训练集的构建
• 4.3 常用文本自动分类算法
• 4.4 基于改进的朴素贝叶斯算法的Web 页面分类算法
• 4.5 本章小结
• 第五章 系统设计与实现
• 5.1 主题搜索引擎信息抽取系统设计与实现
• 5.2 网页文本分类实验
• 第六章 总结与展望
• 6.1 全文总结
• 6.2 不足和展望
• 致谢
• 参考文献
• 在学期间发表的论著及取得的科研成果