基于WEB挖掘的网络蜘蛛的研究与实现

论文摘要

搜索引擎是从WWW上快速而有效地获取信息资源的捷径,而网络蜘蛛技术则是搜索引擎的关键。本文围绕WEB信息挖掘这一前沿性研究领域课题,结合搜索引擎框架的总体要求,实现了网络蜘蛛在互联网中的漫游,并将网页数据存储在本地数据库中,为以后网页搜索引擎的实现打下了良好的基础。本文首先从搜索引擎的分类和组成出发,对搜索引擎的内部运行机制进行了了初步的了解,然后详细分析了网络蜘蛛技术实现的功能和搜索的策略。最后本文实现了一个网络蜘蛛在网络中的漫游,并能将网页数据存储在本地数据库中。研究内容主要包含:首先分析搜索引擎的工作原理,实现搜索引擎工作中的第一步一从互联网上抓取网页。其次详细阐述和分析了所用到的技术,特别是本文实现中所用到的HTTP协议、正则表达式、多线程和ADO.NET等技术。在已有网络蜘蛛技术的基础上,对网络蜘蛛的系统进行分析和设计,采用广度优先的搜索策略,结合多线程机制,实现了对内网和外网页面的抓取和页面内容分析的算法。本文的创新点在于,首先,把正则表达式技术应用到WEB网页内容提取里面,快速有效地提取网页中的URL,实现了对内网和外网页面的抓取和页面内容分析的算法。最后使用Zlib数据压缩算法对网页数据进行压缩并存入本地数据库。其次,在读取网页信息模块的设计中,为了提高网页获取的速度,采用了一个特殊的错误URL处理策略,即通过服务器的响应时间来取决函数是否返回HTTP页面,把超时的URL放入错误队列,等待错误处理进程的处理。会使蜘蛛根据网络状况来快速处理服务器响应时间快的URL,从而提高蜘蛛的整体速度。然后,通过在校园网上进行实验,并且读取存储在数据库中的网页数据,验证了该网络蜘蛛的可行性,证明系统己达到了预期的目标。最后,对本课题下一步的主要工作内容进行系统的总结并做出简单的展望。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.3 论文主要工作
• 1.4 论文组织
• 第二章 搜索引擎概述
• 2.1 搜索引擎的定义
• 2.2 搜索引擎的分类
• 2.3 搜索引擎的工作原理
• 第三章 网络蜘蛛概述
• 3.1 网络蜘蛛及在搜索引擎中的作用
• 3.3 网络蜘蛛的结构
• 3.4 网络蜘蛛抓取网页策略
• 第四章 WEB 挖掘技术概述
• 4.1 WEB 挖掘定义
• 4.2 WEB 挖掘技术
• 4.2.1 Web 内容挖掘
• 4.2.2 Web 结构挖掘
• 4.2.3 Web 日志挖掘
• 4.3 HITS 算法和PAGERANK 算法
• 4.3.1 HITS 算法
• 4.3.2 PageRank 算法
• 第五章 技术概述
• 5.1 HTTP 协议
• 5.1.1 HTTP 协议的关键性质
• 5.1.2 HTTP 协议的主要方法
• 5.1.3 HTTP 协议的信息头格式
• 5.2 正则表达式
• 5.2.1 正则表达式概述
• 5.2.2 正则表达式在VB.NET 中的应用
• 5.3 多线程技术
• 5.3.1 线程的创建
• 5.3.2 线程的优先级
• 5.3.3 多线程的同步
• 5.3.4 线程池
• 5.4 ADO.NET 技术
• 第六章 网络蜘蛛的设计与实现
• 6.1 网络蜘蛛的分析与设计
• 6.1.1 网络蜘蛛关键技术
• 6.1.2 蜘蛛程序的结构
• 6.1.3 网络蜘蛛的工作过程
• 6.1.4 URL 队列管理
• 6.1.5 数据库设计
• 6.1.6 数据压缩算法zlib
• 6.2 网络蜘蛛的实现
• 6.2.1 WEB 页面信息提取模块的实现
• 6.2.2 超链接分析模块的实现
• 6.2.3 网页内容分析模块的实现
• 6.2.4 网络蜘蛛主要进程的的设计和实现
• 6.2.5 数据库连结的实现
• 6.2.6 网络蜘蛛实验结果
• 第七章 总结
• 参考文献
• 研究生期间的研究成果
• 致谢