一个基于二次过滤的垂直搜索引擎的设计与实现

论文摘要

随着互联网技术的飞速发展,互联网络上的信息量正在以几何级数的增长速度增长。因此,对网络上信息的高效检索成为互联网发展必须要解决的问题,搜索引擎技术得到了特别的重视并且正在飞速地发展。目前Google、Baidu等通用搜索引擎功能虽然非常强大,但是当使用它们来检索某些特定专业的信息时就有些力不从心。因此,面向特定专业的搜索引擎,即垂直搜索引擎应运而生。本文首先对目前搜索引擎的实现原理和所使用的开发技术进行介绍,然后进一步深入探讨垂直搜索引擎的相关理论与技术,并且提出了二次过滤格式化数据模型的解决方案。在上述工作的基础上,本文重点研究并设计实现了一个基于Lucene的垂直搜索引擎,它能够搜索一个指定的网站内有关手机产品的信息。本文在开发设计的过程当中,对指定的网站手机产品信息进行了深度分析,并使用相关的技术对信息进行过滤,提取等,提出的二次过滤格式化数据模型运用到系统的具体实现当中。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 课题的提出
• 1.2 垂直搜索的发展现状
• 1.3 研究内容
• 第二章 搜索引擎的相关原理与技术
• 2.1 搜索引擎的实现原理
• 2.2 网页信息采集技术
• 2.3 搜索引擎的分类
• 2.4 垂直搜索引擎相关技术
• 2.5 面向特定主题网络机器人技术研究
• 第三章 Lucene的简介
• 3.1 Lucene的简介
• 3.2 Lucene的系统结构
• 3.3 Lucene索引机制架构
• 3.4 Lucene索引的数据结构
• 第四章 手机垂直搜索引擎的设计
• 4.1 系统实现目标
• 4.2 系统的功能与特点
• 4.3 系统设计思想与策略
• 4.3.1 设计思想
• 4.3.2 设计策略
• 4.4 系统总体和各模块结构
• 4.5 系统的业务处理流程
• 第五章 手机垂直搜索引擎的实现
• 5.1 系统的开发语言与环境
• 5.2 系统的运行环境
• 5.3 系统实现的关键技术
• 5.3.1 JE-Analysis中文分词
• 5.3.2 开源Java库HTMLParser
• 5.3.3 网络爬虫 Heritrix
• 5.4 系统模块实现
• 5.4.1 网页过滤抓取模块
• 5.4.2 二次过滤格式化数据模块
• 5.4.3 词库建立模块
• 5.4.4 索引模块
• 5.4.5 检索模块
• 5.4.6 前端客户接口模块
• 5.5 系统测试评价与不足
• 5.5.1 索引性能测试
• 5.5.2 搜索结果测试
• 5.5.3 不足的地方
• 第六章 总结与展望
• 参考文献
• 致谢