基于SSH和Lucene垂直搜索引擎研究

论文摘要

随着互联网的发展,现在中国网民居世界首位。网络上信息量的剧增使得通用搜索引擎显得有点力不从心,垂直搜索引擎的出现,就是为了解决这类问题。开源垂直搜索引擎中Lucene的分词模块使用简单分词机制,存在分词精度不高的缺点。因此本文引入了一种基于位图数据结构与条件随机场模型的中文分词词典机制,在一定程度上提高了分词的精度,降低了词典机制的空间复杂度。实验表明:分词词典所占用的内存减少的同时,垂直搜索精度有一定的提高。具体工作如下:(1)论述了垂直搜索引擎的研究价值跟背景,并且深入分析了垂直搜索引擎的两大核心技术:中文分词技术,以及Lucene排序技术。(2)主要对Lucene源码包进行了必要的学习与研究,分析其中两种中文分词算法,双字切分算法和正向最大匹配算法,但是存在分词精度不高的缺点,因而可以改进既有的Lucene分词包来提高中文分词的精度,并将它应用于垂直搜索引擎当中。(3)设计了一个垂直搜索引擎系统,使用了一些开源的框架:Spring、Struts2和Hibernate。整个系统包括了网页抓取模块、蜘蛛模块、信息提取模块、以及索引与检索模块。采用HtmlParser提取网页信息,引入了改进的基于位图与条件随机场中文分词模块来对中文进行分词,提高了中文分词的精度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 研究背景及国内现状
• 1.2.1 垂直搜索的研究背景
• 1.2.2 垂直搜索现状研究
• 1.3 存在的问题及本文工作
• 1.4 论文的组织结构
• 第二章 垂直搜索关键技术研究与分析
• 2.1 垂直搜索关机技术简介
• 2.2 Lucene 中文分词
• 2.2.1 Lucene 词典中文切词
• 2.2.2 条件随机场模型
• 2.3 Lucene 排序模型与PageRank 算法
• 2.3.1 Lucene 排序模型
• 2.3.2 PageRank 算法
• 2.4 本章小结
• 第三章 框架整合分析与研究
• 3.1 Spring 容器框架研究
• 3.2 MVC 控制器框架
• 3.3 持久化框架
• 3.4 框架的整合与优化
• 3.4.1 SSH 框架的整合
• 3.4.2 框架的优化
• 3.5 本章小结
• 第四章 基于位图和条件随机场的中文分词算法
• 4.1 经典的分词词典机制及汉词特点
• 4.1.1 三种词典机制
• 4.1.2 正向最大匹配算法FFM
• 4.1.3 汉字特点及分布规律
• 4.2 词典机制的改进
• 4.2.1 文献分词词典数据结构
• 4.2.2 引进位图后的词典结构及算法
• 4.3 基于条件随机场模型的中文分词
• 4.3.1 标注方法
• 4.3.2 特征选择
• 4.3.3 训练模型
• 4.4 本章小结
• 第五章 分词实验及垂直搜索应用
• 5.1 中文分词机制实现分析
• 5.1.1 空间复杂度跟时间复杂度分析
• 5.1.2 分词机制与垂直搜索
• 5.2 分词评测
• 5.3 垂直搜索实验分析
• 5.3.1 架构分析与模块设计
• 5.3.2 垂直搜索系统测试
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 致谢
• 附录 （攻读硕士学位期间发表录用论文）
• 详细摘要