基于聚类的中文元搜索引擎技术研究

论文摘要

随着网络与通信技术的迅速发展,互联网上的信息资源数量急剧增加,搜索引擎作为网络信息检索的主要工具迅速产生并发展起来了。但是每个搜索引擎的设计,都有其特定的数据库索引范围、独特的功能和使用方法,以及预期的用户群。人们往往需要使用多种搜索引擎对搜索结果进行比较、筛选和相互印证。为了充分合理地利用已有的信息资源,建立在搜索引擎基础上的元搜索引擎目前已成为研究和开发的一个热点。现存的大多数元搜索引擎以线性列表的方式为用户返回结果,其规模仍然相当庞大,这使得用户可能用很多时间才能找到自己需要的结果,对检索结果进行聚类处理成为改进用户搜索体验的一个有效解决方案。本文首先对中文元搜索引擎相关的技术进行了研究,然后对后缀树聚类算法进行了探讨,并针对后缀树聚类算法的不足,提出适用于中文元搜索引擎的改进的后缀树聚类算法,本文将改进的后缀树聚类算法应用于中文元搜索引擎,开发出实现搜索结果聚类功能的中文元搜索引擎系统ISTCC系统。另外本文还设计了两个实验分别验证我们设计的改进的倒数排序法和改进的后缀树聚类算法的有效性。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 选题背景
• 1.2 国内外研究情况
• 1.3 本文主要工作及创新点
• 1.4 本文组织结构
• 第二章 元搜索引擎技术概述
• 2.1 搜索引擎概述
• 2.1.1 搜索引擎的概念
• 2.1.3 搜索引擎的分类
• 2.1.4 搜索引擎的组成及工作原理
• 2.2 元搜索引擎概述
• 2.2.1 元搜索引擎的组成
• 2.2.2 元搜索引擎分类
• 2.3 元搜索引擎相关技术
• 2.3.1 成员搜索引擎调度策略
• 2.3.2 元搜索引擎结果消重算法
• 2.4 本章小结
• 第三章 元搜索引擎关键技术研究
• 3.1 Web 信息抽取
• 3.1.1 抓取网页
• 3.1.2 网页内容的解析
• 3.2 元搜索引擎结果集成方法
• 3.2.1 使用排名分数的合并
• 3.2.2 使用排名位置的合并
• 3.2.3 改进的倒数排序法
• 3.3 本章小结
• 第四章 后缀树聚类算法研究
• 4.1 聚类分析研究介绍
• 4.1.1 聚类概述
• 4.1.2 文本表示模型
• 4.1.3 聚类算法的分类
• 4.2 后缀树聚类算法
• 4.2.1 后缀树
• 4.2.2 后缀树聚类算法
• 4.3 改进的中文后缀树聚类算法
• 4.3.1 文档解析
• 4.3.2 创建扩展后缀树
• 4.3.3 识别最大短语簇
• 4.3.4 短语簇合并
• 4.4 本章小结
• 第五章 中文聚类元搜索引擎设计与实验分析
• 5.1 开发平台与工具
• 5.2 系统总体架构
• 5.3 系统主要模块设计与实现
• 5.3.1 搜索请求分析模块
• 5.3.2 搜索任务分配模块
• 5.3.3 搜索结果处理模块
• 5.3.4 ISTCC 聚类模块
• 5.4 系统运行效果
• 5.4.1 系统查询页面
• 5.4.2 系统结果页面
• 5.5 实验分析
• 5.5.1 实验一
• 5.5.2 实验二
• 5.6 本章小结
• 第六章 总结与展望
• 6.1 研究总结
• 6.2 今后研究工作展望
• 致谢
• 参考文献