基于布隆过滤器算法的网页消重技术的实现与应用

论文摘要

随着Internet的不断发展,网络信息呈指数级不断膨胀,这也给信息检索带来了很大的困难,因此对于重复网页的消重操作也是十分有意义的。本文从理论和应用两方面对网页消重技术进行了研究,达到了以下目标：首先,针对特定的需求,设计与实现了基于问答平台网站的爬虫,给出了详细的实现过程,并实现了基于布隆过滤器算法(Bloom Filter)的重复URL的过滤；其次,采用XPath路径表达式定位目标节点,对于目标网页的网页正文内容进行提取操作；最后,对抽取出来的网页正文内容进行了消重操作。对网页正文内容进行了变长分块操作,对分块后的文档进行了Bloom Filter编码,并通过对文档间的Bloom Filter进行逻辑按位与操作来判断文档间的相似程度。论文实现的消重方法已经应用于实际,实际应用结果表明,该方法取得了显著的去重效果,大大提高了信息检索系统性能与用户体验性。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 1 绪论
• 1.1 知识背景
• 1.1.1 重复网页定义
• 1.1.2 产生重复网页的原因
• 1.1.3 消除重复网页的意义
• 1.2 项目背景
• 1.3 网页消重技术的国内外研究现状
• 1.4 论文内容与组织
• 1.5 本章小结
• 2 网络爬虫的设计与实现
• 2.1 网络爬虫作用
• 2.2 通用网络爬虫
• 2.2.1 通用网络爬虫的基本结构
• 2.2.2 通用网络爬虫的爬行策略
• 2.3 本文爬虫的操作目标
• 2.4 爬虫的设计与实现
• 2.5 网页URL消重实现
• 2.5.1 常用URL消重算法简介
• 2.5.2 布隆过滤器算法简述
• 2.5.3 基于布隆过滤器算法的网页URL消重的实现
• 2.5.4 URL消重效果数据展示
• 2.6 本章小结
• 3 网页正文内容提取技术实现
• 3.1 文本内容提取技术介绍
• 3.2 文内容提取技术实现
• 3.2.1 相关技术介绍
• 3.2.2 文本信息提取的实现
• 3.3 本章小结
• 4 网页内容消重的实现
• 4.1 网页消重算法简介
• 4.2 针对网页内容的消重算法实现
• 4.2.1 变长分块
• 4.2.2 Bloom Filter的生成
• 4.2.3 网页消重实现
• 4.2.4 消重效果数据展示
• 4.3 本章小结
• 5 总结与展望
• 5.1 全文工作总结
• 5.2 进一步的工作
• 参考文献
• 学位论文数据集