分布式网络搜索引擎的研究与实现

论文摘要

由于搜索引擎经济的兴起带动了整个互联网经济的复苏,搜索引擎经济也从另一方面向世人展示了互联网仍潜藏着为人所不知的惊天商机,业界开始将更多的目光放在各搜索引擎的性能和流量等方面的关注上。伴随着信息时代而来的信息爆炸,互联网上的信息每天以指数级的速度增长,各行业以及互联网个人用户纷纷借助于搜索引擎技术来处理数据,小到本地文件的搜寻,大至互联网数据的检索。本文针对不同搜索方案的需求,提出了一种易扩展的分布式搜索引擎的构架,并重点对其进行了设计和实现。论文在详细阐述网络搜索引擎的相关理论和技术的基础上,有针对性地对关键技术进行分析讨论,以实现一个可分布式采集和查询,可以为某一行业以及相关软件系统提供网络数据索引和检索的功能系统为目的。论文主要工作如下:介绍了目前搜索引擎的研究现状、存在的问题以及发展趋势;阐述了搜索引擎的工作原理以及各部分的主要功能;系统介绍了搜索引擎内核实现的原理和相关实现方法。为了能高效、便捷地满足用户的信息需求,弥补传统个性化技术的不足,提出基于语义的自适应网页推荐模式,采用语义本体和用户查询倾向机制构建自适应的语义用户模型,并采用语义质心聚类技术来提高推荐的准确率。实验结果表明,与其它推荐方法相比该算法具有更高的推荐准确率和召回率。在插件机制的基础上,设计实现了一个可扩展,并且可以进行分布式查询的搜索引擎体系结构。每一台索引机器负责特定域名信息的采集和索引,对于存储在不同机器上的网页数据可以进行并行检索。重点阐述了搜索系统框架的实现,在分析系统各模块之间关系的基础上,介绍了各模块的实现原理。总体上,本文论述了基于插件机制的可分布式查询和采集的完整的搜索引擎的设计方法,并且改进了语义网页推荐模式。经验证,所实现的搜索引擎的架构体系具有良好的实用性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题提出的背景
• 1.1.1 搜索引擎的概念及类型
• 1.1.2 现阶段中文搜索引擎存在的主要问题
• 1.2 国内外研究现状
• 1.2.1 搜索引擎的国外研究现状
• 1.2.2 搜索引擎的国内研究现状
• 1.3 本文结构
• 第二章 搜索引擎数据抓取技术研究
• 2.1 HTTP 协议
• 2.1.1 请求消息
• 2.1.2 响应消息
• 2.1.3 网页爬行过程中的正则规则
• 2.2 数据获取
• 2.2.1 网络蜘蛛功能需求
• 2.2.2 网络蜘蛛实现原理
• 2.2.3 网络蜘蛛系统结构
• 2.2.4 网页采集程序设计和实现
• 2.3 本章小结
• 第三章 搜索引擎信息处理技术研究
• 3.1 文档分析与中文分词
• 3.1.1 文档分析预处理
• 3.1.2 中文分词技术
• 3.2 信息索引
• 3.2.1 网页索引功能需求
• 3.2.2 网页索引实现原理
• 3.2.3 索引过程的设计与实现
• 3.3 检索查询与结果排序
• 3.3.1 检索查询基本流程
• 3.3.2 结果排序工作过程
• 3.3.3 结果排序方法
• 3.5 本章小结
• 第四章 分布式搜索引擎关键技术研究
• 4.1 分布式搜索引擎
• 4.1.1 分布式搜索引擎介绍
• 4.1.2 分布式搜索引擎原理
• 4.2 信息抓取
• 4.2.1 对基于超链接信息搜索策略的改进
• 4.2.2 DNS 转化实现策略
• 4.2.3 分布式抓取算法
• 4.3 基于语义质心的推荐算法
• 4.3.1 构造语义连通图
• 4.3.2 基于语义质心的网页推荐算法
• 4.3.3 实验分析
• 4.4 基于插件的体系结构
• 4.5 本章小结
• 第五章 分布式搜索引擎系统的实现与测试
• 5.1 信息采集模块
• 5.2 信息处理模块
• 5.3 数据检索模块
• 5.3.1 数据检索模块的改进
• 5.3.2 数据检索算法的实现
• 5.4 系统性能测试
• 5.4.1 系统测试环境
• 5.4.2 系统测试用例
• 5.4.3 测试结果分析
• 5.5 本章小结
• 第六章 总结和展望
• 6.1 对现有工作的总结
• 6.2 进一步研究的地方
• 参考文献
• 作者简历、攻读硕士学位期间完成的主要工作
• 一、个人简历
• 二、攻读硕士学位期间发表的学术论文
• 三、攻读硕士学位期间科研成果
• 致谢