基于网页分块的主题爬虫方法研究

论文摘要

随着网络上信息的爆炸式增长,普通搜索引擎的查询结果越来越不能满足用户查询的需要,尤其是那些查询特定信息的不同领域、不同背景的用户,因此适应特定主题和个性化搜索的垂直搜索引擎应运而生。主题爬虫作为垂直搜索引擎的核心组成部分,其抓取的网页的质量好坏直接影响垂直搜索引擎的返回结果。如何判断下载的网页与目标主题的相关度和如何确定待爬行队列中URL的访问优先级是主题爬虫中影响抓取的网页质量的关键因素;同时由于Web页面的结构特性,致使主题爬虫在爬行过程中存在“隧道”现象,它的存在将会对爬行的覆盖率和准确率造成较大的影响。本文利用网页分块判断主题相关度和最佳优先搜索策略的优势,同时为了克服“隧道”现象,提出了一种基于网页分块的主题爬虫方法:①将分类器的思想应用到主题爬虫中,训练出了针对主题爬虫的类中心向量分类器,该分类器主要用于确定网页或网页块的主题类别和它们之间的相似度,其突出的优点是可以较好的描述用户感兴趣的主题,分类速度快,能提高爬行的速度;②在网页块内考虑URL的差异,将块内的URL分为特殊URL和普通URL进行访问优先级预测,从而提高预测的准确性,克服由于预测不准确带来的相关网页被忽略的问题;③通过在网页块内引用类间转移概率,克服爬行过程中存在的“黑色隧道”现象,通过利用网页分块的思想,克服爬行过程中存在的“灰色隧道”现象。最后从DMOZ目录中选取3种不同的目标主题对基于本文提出的方法和已存在的基于文字内容的方法及基于分类器的方法实现的三种主题爬虫采用常用的性能评估值——Harvest Ratio进行对比验证,实验结果表明本文提出的方法实现的主题爬虫在Harvest Ratio上要优于其他两种方法,较好的满足了主题爬虫的需求。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 课题研究背景
• 1.2 国内外研究现状
• 1.3 本文研究的主要内容
• 1.3.1 研究目的
• 1.3.2 研究内容
• 1.4 论文结构
• 2 相关理论及技术
• 2.1 搜索引擎概述
• 2.1.1 通用搜索引擎
• 2.1.2 垂直搜索引擎
• 2.2 普通爬虫
• 2.2.1 普通爬虫模型
• 2.2.2 普通爬虫的爬行策略
• 2.3 主题爬虫
• 2.3.1 主题爬虫模型
• 2.3.2 主题爬虫的爬行策略
• 2.3.3 主题爬虫与普通爬虫的区别
• 2.4 主题爬虫的关键技术
• 2.4.1 中文分词技术
• 2.4.2 文本表示模型
• 2.4.3 特征提取方法
• 2.4.4 文本分类技术
• 2.4.5 网页分类技术
• 2.5 Web 页面的结构特性及其对主题爬虫的影响
• 2.5.1 Web 页面结构特性
• 2.5.2 Web 页面结构特性对主题爬虫的影响
• 2.6 本章小结
• 3 主题爬虫相关算法介绍
• 3.1 主题相关度判断算法
• 3.1.1 基于整个页面的相关度判断
• 3.1.2 基于网页分块的相关度判断
• 3.2 待爬行URL 访问优先级的预测算法
• 3.2.1 基于文字内容的评价方法
• 3.2.2 基于衔接的评价方法
• 3.2.3 基于分类器的方法
• 3.3 “隧道”现象的解决方法
• 3.3.1 “黑色隧道”的解决方法
• 3.3.2 “灰色隧道”的解决方法
• 3.4 算法分析
• 3.5 本章小结
• 4 一种基于网页分块的主题爬虫方法
• 4.1 问题的提出
• 4.2 基于网页分块的主题爬虫方法的思想
• 4.3 基于网页分块的主题爬虫方法的实现
• 4.3.1 训练集的选取
• 4.3.2 类间转移概率的训练
• 4.3.3 主题分类器的构建
• 4.3.4 基于视觉特征将网页分块
• 4.3.5 预测网页块中URL 的访问优先级
• 4.4 本章小结
• 5 实验及结果比较
• 5.1 实验介绍
• 5.1.1 基准方法
• 5.1.2 验证方法
• 5.1.3 实验条件
• 5.2 实验结果
• 5.2.1 三种主题爬虫的实验结果比较
• 5.2.2 三种主题爬虫在爬行过程中的实验结果比较
• 6 总结
• 致谢
• 参考文献
• 附录
• A 作者在攻读硕士学位期间发表的论文目录
• B 作者在攻读硕士学位期间参与的科研项目