主题爬虫穿越隧道算法研究与设计

论文摘要

伴随着互联网及应用和服务的普及,网上信息量以带宽的指数级增长,互联网用户信息检索的难度和复杂度也不断提高。因此,搜索引擎越来越引起人们的重视和关注。Google曾宣称它们索引的网页数目已达到10000亿,中国的网页规模也超过了100亿,并且仍在以指数的增长方式急剧猛增,面对如此浩瀚的信息资源,如何有效的提取并利用这些海量信息成为搜索引擎面临的一个巨大挑战。为了提高搜索效率和满足人们日益增长的个性化服务的需求,适应特定领域、特定人群的特定需求的主题搜索引擎(也称专业搜索引擎和垂直搜索引擎)应运而生,并且越来越受到人们的青睐。主题搜索引擎只专注于与主题相关的高质量网页,保证了对主题相关信息的完全收录和及时更新,具备“专,精,深”的特点,成为新一代搜索引擎的发展趋势。搜索引擎爬取网页是以网络爬虫技术来实现的,而主题爬虫以何种策略高效爬取web信息,成为近年来爬虫研究地焦点之一本文着眼于提高主题爬虫的爬取效率,通过对VSM网页分类算法分析,从特征提取、特征值计算和类核心词汇生成三方面改进了VSM网页分类算法,其中对于特征值计算,本文从词语的出现语义角度来考虑,给出了混合因素加权的特征项的权值计算方法,提高了文本相似度计算的精度。并结合"Better Parent Have Better Children"思想,提出了运用相似度预测值动态调整主题爬虫的爬行步数,通过灵活设置相似度预测的K值,引导爬虫穿越隧道,即动态调整主题爬虫穿越隧道算法。该算法消除了K值设置过大引起的低爬准率或过小导致低爬全率的缺陷。基于本文提出的主题相关度的计算算法来动态决定主题无关页面是否丢弃,在很大程度上扩大了主题爬虫的有效搜索范围。使众多独立的网络社区互相连接起来,形成一个相对完整的主题群,引导主题爬虫高效的穿越网络隧道,提高主题爬虫的爬全率和爬准率。

论文目录

• 摘要
• ABSTRACT
• 1 引言
• 1.1 课题的提出
• 1.2 国内外研究现状
• 1.3 论文的研究内容
• 1.4 论文的组织结构
• 2 搜索引擎基础理论知识
• 2.1 搜索引擎的概念
• 2.2 搜索引擎的工作原理
• 2.3 搜索引擎的体系结构
• 2.4 搜索引擎的分类与发展趋势
• 2.5 本章小结
• 3 主题爬虫技术概述
• 3.1 主题爬虫的概念
• 3.2 主题爬虫与通用爬虫的区别
• 3.3 主题爬虫的工作原理与体系结构
• 3.4 主题爬虫关键技术
• 3.5 本章小结
• 4 动态调整的主题爬虫穿越隧道算法研究
• 4.1 Web社区和网络隧道及其对主题爬虫的影响
• 4.2 改进VSM网页分类算法
• 4.3 动态调整主题爬虫穿越隧道算法设计
• 4.4 算法分析与评价
• 4.5 本章小结
• 5 主题爬虫系统设计与结果分析
• 5.1 系统开发环境
• 5.2 系统设计与实现
• 5.3 实验结果与数据分析
• 5.4 本章小结
• 6 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 攻读硕士学位期间从事科学研究及发表论文情况