元搜索引擎结果个性化排序的研究与实现

论文摘要

目前,搜索引擎存在着冗余信息过载和索引数据库信息覆盖率低的问题,发展个性化的元搜索引擎是解决这两个问题的一个重要途径,由于元搜索引擎可以同时调用多个独立搜索引擎,提高了搜索引擎的查全率;面对数量众多的检索结果,采用个性化的结果处理方法,可以提高用户检索的效率和返回结果的质量。本文研究并设计了一个针对元搜索引擎返回结果的个性化排序算法。算法的主要思路是将元搜索引擎返回的结果网页预处理后,通过聚类的方法,将结果网页集合划分为不同的类别。计算每个类别与用户兴趣模型的相似度,根据相似度对类别进行宏观排序,从而确定用户的兴趣类别,并对兴趣类别中的结果进行基于查询关键词与结果内容相关性的微观排序。文章中同时也给出了建立用户兴趣模型的方法和步骤。在个性化排序算法的结果预处理步骤中采用了一种改进的基于超链接文本分析的网页正文提取方法;在排序步骤中提出了宏观排序和微观排序的概念,给出了两种排序的具体实现方法;在聚类处理中,为了提高算法的性能,采用了一种改进的聚类算法。根据元搜索引擎结果个性化排序算法,本文设计了一个基于客户端的个性化元搜索引擎系统(PMS),系统采用了模块化的设计,具有友好的人机交互界面。文中给出了系统的测试数据,并对数据进行了分析和处理。实验表明,本文的基于个性化排序算法的个性化元搜索引擎系统(PMS)具有理想的查全率与查准率,能够达到方便用户检索和提供高质量检索结果的目的,同时该系统也存在着很多不足之处,有待于进一步的改进。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.2 研究意义
• 1.3 研究内容
• 1.4 论文结构
• 第2章 元搜索引擎概述
• 2.1 元搜索引擎的原理与结构
• 2.2 元搜索引擎结果的处理方法
• 2.2.1 元搜索引擎结果处理约束条件
• 2.2.2 两种简单的处理方法
• 2.2.3 摘要排序法
• 2.2.4 位置排序法
• 2.2.5 分级提取结果集法
• 2.3 元搜索引擎的优势与发展
• 2.4 元搜索引擎面临的问题
• 2.5 元搜索引擎的个性化发展
• 第3章 个性化信息检索
• 3.1 个性化信息检索相关理论
• 3.1.1 个性化信息服务介绍
• 3.1.2 个性化信息检索的分类
• 3.1.3 用户兴趣信息的获取
• 3.1.4 用户兴趣模型的表示
• 3.2 个性化信息检索相关技术
• 3.2.1 中文分词技术
• 3.2.2 文本聚类
• 3.2.3 Lucene
• 第4章 元搜索引擎结果个性化排序算法的设计
• 4.1 元搜索引擎结果个性化排序算法的设计思路
• 4.1.1 元搜索引擎结果个性化排序算法的意义
• 4.1.2 个性化排序算法解决的具体问题
• 4.2 检索结果网页的预处理
• 4.2.1 网页预处理的作用
• 4.2.2 网页预处理的步骤
• 4.2.3 网页正文提取方法的改进
• 4.2.4 网页特征向量的提取
• 4.2.5 验证特征词提取方法的实验
• 4.3 改进的k-means 算法
• 4.4 用户兴趣模型的建立
• 4.4.1 用户兴趣信息的获取
• 4.4.2 用户兴趣向量的建立
• 4.5 个性化排序算法的设计
• 4.6 宏观排序
• 4.6.1 类别的特征表示
• 4.6.2 宏观排序原理与实现
• 4.7 微观排序
• 4.7.1 微观排序的原理
• 4.7.2 微观排序的实现
• 4.8 个性化排序算法创新点
• 第5章 基于算法的个性化元搜索引擎的设计
• 5.1 个性化元搜索引擎的模块化设计
• 5.2 模块功能介绍
• 5.3 系统的测试与数据分析
• 5.4 PMS 系统评价
• 总结
• 参考文献
• 攻读硕士学位期间的研究成果
• 致谢