基于Lucene的汽车信息垂直搜索引擎的设计与实现

论文摘要

随着互联网上Web信息爆炸性的增长,如何获取更加准确、更加详细、更加深层的专业信息,成为对搜索引擎提出的新要求。因此,面向主题的垂直搜索引擎系统应运而生。本文以用户对汽车信息的搜索需求为研究背景;采用垂直搜索技术,将通过元搜索获取的汽车信息作为采集对象;在开源的全文检索软件包Lucene的基础上,修改Nutch系统框架,设计和实现了对汽车信息具有专业化搜索功能的垂直搜索引擎。主要工作如下:1.回顾了搜索引擎的发展历史及分类;通过对通用搜索引擎面临问题的分析,体现出垂直搜索引擎在专业搜索方面的优势;给出垂直搜索引擎的研究现状及介绍了本系统使用的Lucene搜索引擎工具包。2.分析专业网络爬虫和Web信息抽取等垂直搜索引擎的关键技术。重点研究了主题相关度判定算法、网页搜索策略和HTMLParser信息抽取方法。3.研究了Lucene工具包:重点分析其索引和查询模块;介绍其结果排序计算体系;介绍了Lucene与Nutch的关系。4.基于以上关键技术,通过需求分析,提出了汽车信息垂直搜索引擎设计方案:包括系统设计思想,技术策略,系统结构框架,开发环境等;给出了系统用例和动态模型。5.对分析和设计获得的三大模块:主题信息抓取部分、信息分析与索引部分、主题信息检索部分进行具体实现,并对系统运行过程和结果进行了展示。6.在系统实现的基础上,给出一种基于连续型Hopfield神经网络的相关检索词智能推荐算法。实践表明,本文设计和实现的汽车信息垂直搜索引擎的方案是切实可行的,系统基本达到了预期的设计目标。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 通用搜索引擎
• 1.2.1 搜索引擎的发展历史及分类
• 1.2.2 通用搜索引擎面临的问题
• 1.2.3 搜索引擎未来的发展趋势
• 1.3 垂直搜索引擎
• 1.3.1 垂直搜索引擎的优势
• 1.3.2 垂直搜索引擎研究现状
• 1.4 LUCENE搜索引擎工具包
• 1.5 本文组织结构
• 2 垂直搜索引擎关键技术
• 2.1 专业网络爬虫技术
• 2.1.1 专业爬虫工作原理及关键技术
• 2.1.2 主题相关度判定
• 2.1.3 网页搜索策略
• 2.2 WEB信息抽取技术
• 2.2.1 Web信息抽取技术概述
• 2.2.2 Web信息抽取方法
• 2.2.3 基于HTMLParser的Web信息抽取
• 2.2.4 HTMLParser对Web信息处理算法
• 3 基于LUCENE的索引与查询
• 3.1 LUCENE全文检索的实现机制
• 3.2 LUCENE信息索引
• 3.2.1 索引分类
• 3.2.2 Lucene索引结构
• 3.3 LUCENE查询处理
• 3.4 LUCENE结果排序
• 3.4.1 Lucene排序相关性因素
• 3.4.2 Lucene排序计算体系
• 3.4.3 Lucene排序公式
• 3.5 LUCENE与NUTCH
• 3.5.1 Nutch概述
• 3.5.2 Nutch系统结构
• 4 汽车信息垂直搜索系统分析与设计
• 4.1 汽车信息垂直搜索系统需求分析
• 4.1.1 业务分析
• 4.1.2 基本功能需求分析
• 4.2 汽车信息垂直搜索系统结构
• 4.2.1 信息抓取模块
• 4.2.2 信息预处理模块
• 4.2.3 检索服务模块
• 4.3 汽车信息垂直搜索系统用例模型
• 4.3.1 角色的确定
• 4.3.2 创建用例
• 4.4 汽车信息垂直搜索系统动态模型
• 5 汽车信息垂直搜索系统实现
• 5.1 系统开发环境
• 5.2 汽车主题信息抓取
• 5.2.1 主题关键词管理
• 5.2.2 主题URL管理
• 5.2.3 主题信息下载
• 5.3 汽车主题信息分析与索引
• 5.3.1 网页信息分析
• 5.3.2 创建索引
• 5.4 汽车主题信息检索
• 5.4.1 检索实现
• 5.4.2 检索结果排序
• 5.4.3 检索结果返回
• 5.5 相关检索词的智能推荐算法
• 5.5.1 建立概念词集合
• 5.5.2 概念词同现率计算
• 5.5.3 概念相关词的生成
• 5.5.4 概念集的建立
• 5.5.5 概念集的维护
• 5.5.6 检索相关词的生成
• 6 总结与展望
• 6.1 系统总结
• 6.2 系统不足与展望
• 致谢
• 参考文献
• 硕士研究生学习阶段发表论文