主题搜索引擎的研究与实现

论文摘要

随着互联网的迅速发展,互联网的信息与日剧增,信息技术的应用让人们无论是生活的便捷还是工作上的效率得到的质的提高。通用搜索引擎的出现为人们提供了更为方便的信息服务。通用搜索引擎的广泛应用也让它在互联网时代的地位无可替代。随着信息的疯狂增长,通用搜索引擎越来越难以满足用户对某个主题领域的信息的查找。面向主题的搜索引擎的出现为解决这些问题应运而生。在主题搜索引擎中,如何提高主题爬虫效率以及以何种策略在web中进行爬去,这是主题搜索引擎的研究热点问题之一。而互联网的动态性、复杂性以及异构性要求主题爬虫能高效的实现信息爬取,在保证信息的高质量的同时,提高信息的实时性。论文讨论了搜索引擎的发展概况,分析了搜索引擎的组成以及工作原理。主题爬虫作为主题搜索引擎的核心部分在论文中得到了详细的分析。同时对抓取主题URL策略提出了一种主题相关的改进算法。由于主题搜索引擎对实时性的要求要高于通用搜索引擎,本文提出了一种URL增量算法,能够及时有效的抓取互联网上新的页面。论文最后阐述了以开源框架nutch为基础的搜索引擎的实现过程,对原有的nutch中文分词技术进行了改进。最后对其进行了测试,实验和结果证明了抓取主题相关URL的改进算法和URL增量算法的有效性和应用价值。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引言
• 1.1 研究背景与意义
• 1.2 搜索引擎的发展状况
• 1.3 搜索引擎评价
• 1.4 本文组织结构
• 第二章 搜索引擎概述及核心技术
• 2.1 搜索引擎的分类
• 2.2 搜索引擎的原理
• 2.3 搜索引擎的主要模块
• 2.4 信息采集
• 2.4.1 网络信息爬取
• 2.4.2 网络爬虫策略
• 2.4.3 网络爬虫原理
• 2.4.4 网络爬虫中重要组成部分
• 2.5 文本处理
• 2.6 中文分词技术
• 2.6.1 基于字符串匹配的分词方法
• 2.6.2 基于统计的分词方法
• 2.7 索引技术
• 2.8 本章小结
• 第三章 主题搜索引擎研究与分析
• 3.1 主题搜索引擎与通用搜索引擎的比较
• 3.2 网页信息的结构化提取
• 3.3 主题搜索引擎的体系结构
• 3.4 主题信息的抓取
• 3.5 本章小结
• 第四章 主题爬虫搜索策略研究
• 4.1 面向主题的爬虫信息提取
• 4.1.1 主题爬虫信息提取的优点
• 4.1.2 主题相关性算法研究
• 4.1.3 PageRank算法
• 4.1.4 HITS算法
• 4.1.5 PageRank算法和HITS算法的区别
• 4.2 抽象的相关排序模型
• 4.2.1 一个具体的相关排序模型
• 4.2.2 向量空间模型
• 4.3 主题相关判断算法
• 4.4 抓取主题相关URL的改进算法
• 4.5 URL增量算法
• 4.6 本章小结
• 第五章 主题搜索引擎的实现
• 5.1 环境的搭建过程
• 5.1.1 Nutch部署
• 5.1.2 Nutch前端部署
• 5.2 相关改进算法的实现
• 5.3 nutch添加中文庖丁解牛分词插件
• 5.3.1 在analysis-zh文件夹中建立plugin.xml和build.xml
• 5.3.2 在扩展点实现插件
• 5.3.3 在lib-paoding-analyzers文件夹中建立plugin.xml和build.xml
• 5.3.4 修改nutch配置文件
• 5.3.5 生成paoding-analysis.jar包
• 5.3.6 重新编译ant
• 5.4 用Nutch抓取网页
• 5.4 系统测试及结果分析
• 5.5 本章小结
• 第六章 总结与展望
• 参考文献
• 攻读硕士期间发表的论文
• 致谢