基于网页分块技术的主题爬行

论文摘要

面向主题爬行的目的是有效,快速的找到和预定义主题相关的网页。它不是收集和索引所有可以爬行到的网页,而是仅仅分析和主题最相关的网页。这样就可以避免像通用搜索引擎那样爬行所有遇到的网页,索引所有网页。主题爬行器是专业搜索引擎的主要部件,主题爬行器可以定期地抓取新的网页信息,并以此来更新搜索引擎的后台数据库,为搜索引擎提供新鲜的数据。一个网页中往往有多个主题,但是目前的主题爬行器处理网页时都是以整个网页为单位,这样的话就不能识别那些只有部分主要内容和主题相关的网页,容易造成主题漂移现象。如果我们在处理网页的时候以网页中的内容块为单位,这样就可以识别网页中的不同主题,在一定程度上可以穿越”tunnel”。本文的主要工作是提出了一个网页分块算法来识别网页中的主题相关块,该算法充分利用了网页中的视觉信息,标签信息,和链接信息。通过该算法我们得到了一些和主题相关的内容块,我们只分析主题块中的信息,这样在网页预测的时候能更好的指导爬行器只爬行和主题相关的网页。研究表明,在主题爬行中应用网页分块技术能够解决多主题问题,很大程度上可以避免主题漂移现象。

论文目录

• 内容提要
• 第一章 绪论
• 1.1 面向主题的爬行技术
• 1.2 网页分块的提出
• 1.3 本文的主要工作及结构安排
• 第二章 主题爬行与网页分块技术
• 2.1 主题爬行的原理
• 2.1.1 离线初试化阶段
• 2.1.2 在线初试化阶段
• 2.2 网页分块技术
• 2.2.1 网页分块技术相关算法的介绍
• 2.2.2 网页分块技术的应用
• 2.3 网页分块在主题爬行中的主要作用
• 2.3.1 多主题和tunnel问题
• 2.3.2 网页去重
• 2.3.3 网页内容预测
• 第三章 网页分块算法
• 3.1 网页的预处理
• 3.1.1 网页的净化
• 3.1.2 构建DOM树
• 3.2 分块算法
• 3.2.1 视觉信息
• 3.2.2 标签信息
• 3.2.3 链接信息
• 3.2.4 算法描述
• 3.3 内容块的识别和合并
• 3.3.1 内容块的特征标识
• 3.3.2 内容块的合并
• 3.3.3 内容块重要性的判断
• 第四章 系统实现和实验结果分析
• 4.1 系统实现
• 4.2 实验结果分析
• 4.3 算法的可能改进
• 第五章 工作总结和未来的工作
• 5.1 工作总结
• 5.2 未来的工作
• 参考文献
• 摘要
• Abstract
• 致谢
• 导师与作者简介