垂直搜索引擎及其关键方法研究

论文摘要

随着Internet的飞速发展,Web己经发展成为包含多种信息资源、站点分布全球的海量信息服务网络。搜索引擎正是一种帮助用户从信息海洋中找到用户所需要信息的工具。一些通用的搜索引擎力争索引Web中所有的网页,为用户提供各种各样的服务。但由于信息多元化的发展,通用的搜索引擎无法满足专业化用户的需求,因而迫切需要一个数据分类细致、精确、全面、更新及时的面向特定主题的搜索技术和方法来获得相关主题资源。在这种需求的推动下,垂直搜索引擎便应用而生了。首先,根据通用搜索引擎和垂直搜索引擎的区别并且结合垂直搜索引擎专、精、深的特点,引入了主题判断模块、信息抽取模块及聚类模块,进而提出了一种垂直搜索引擎框架。其次,根据垂直搜索引擎专业网络爬虫的核心,即专业的爬行算法。对基于PageRank的Best-First算法进行了广泛而深入的研究。第一,针对PagRank是一种根据网页之间的超链接来计算网页排名的技术,网页的PageRank值越高,该网页越重要。第二,由于PageRank算法不利于搜集主题信息等问题,提出了一种改进的PageRank算法。第三,从单个网页考虑,利用每个网页的url,title,正文,提出了基于内容相似度的方法。第四,结合改进的PageRank算法和基于内容的相似度提出了BLCT主题爬行算法并进行了相应的实验。最后,深入研究了文本聚类技术,通过搜索结果的聚类可以缩小用户所需浏览的结果数量,从而缩短用户查询所需要的时间。针对k-means聚类算法只能保证收敛到局部最优,导致聚类结果对初始聚类中心敏感的问题,提出了一种基于相似中心的k-cmeans文本聚类算法。通过一定的策略选择初始中心点,并进行了相应的实验。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题的背景与意义
• 1.2 通用搜索引擎
• 1.2.1 搜索引擎的发展历史
• 1.2.2 通用搜索引擎的工作原理
• 1.2.3 通用搜索引擎的缺点
• 1.3 垂直搜索引擎
• 1.3.1 垂直搜索引擎的优点
• 1.3.2 垂直搜索引擎的研究现状
• 1.4 本文的组织结构及研究内容
• 第2章 相关技术研究
• 2.1 主题判断的研究
• 2.1.1 主题目标描述
• 2.1.2 网页搜索策略
• 2.2 中文分词技术
• 2.2.1 基于字符串匹配的分词方法
• 2.2.2 基于统计的分词方法
• 2.2.3 基于理解的分词方法
• 2.3 聚类技术的研究
• 2.4 本章小结
• 第3章 垂直搜索引擎框架提出
• 3.1 垂直搜索引擎及工作原理
• 3.1.1 垂直搜索引擎的特点
• 3.1.2 垂直搜索引擎工作原理
• 3.2 垂直搜索引擎的框架
• 3.2.1 信息搜集模块
• 3.2.2 预处理模块
• 3.2.3 服务模块
• 3.3 本章小结
• 第4章 基于链接和内容的主题爬行算法研究
• 4.1 引言
• 4.2 BLCT 算法基本思想
• 4.2.1 目标领域词典的建立
• 4.2.2 网页内容相似度
• 4.2.3 网页链接相似度
• 4.2.4 LCPageRank 算法
• 4.3 算法过程
• 4.4 算法分析
• 4.5 实验及结论
• 4.5.1 评价方法
• 4.5.2 实验结果
• 4.5.3 实验分析
• 4.6 本章小结
• 第5章 文本聚类技术的研究
• 5.1 引言
• 5.2 文本聚类流程
• 5.2.1 特征项集的构建
• 5.2.2 正排表及倒排表的建立
• 5.2.3 文本相似性度量
• 5.3 k-means 算法
• 5.3.1 算法的缺点
• 5.3.2 算法思想
• 5.3.3 算法描述
• 5.4 基于相似中心的k-cmeans 聚类算法
• 5.4.1 算法思想
• 5.4.2 算法描述
• 5.5 实验及结论
• 5.5.1 评价方法
• 5.5.2 实验结果
• 5.5.3 实验分析
• 5.6 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间承担的科研任务与主要成果
• 致谢
• 作者简介