面向搜索引擎的智能个性化研究

论文摘要

随着互联网上文档数量的快速增长,在Web搜索的研究方面我们面临着许多新的挑战。搜索引擎上大多数的查询是短小且意义不明确的,即使输入相同查询词的用户也可能有完全不同的搜索意图。目前,大多数的搜索引擎并没有考虑用户个人的需要,对提交相同查询的用户,返回的搜索结果是完全一样的。为了提高搜索质量,个性化的Web搜索已成为信息检索领域的研究热点之一。本文有针对性地重点展开面向搜索引擎的智能个性化研究,不仅充分利用当前流行搜索引擎的优点,如快速响应请求,并且覆盖大量的信息资源等,而且能根据用户不同的兴趣和背景提供相关的搜索结果。其研究的内容主要包括以下几点::①详细分析了现有向量空间模型的词间关系计算方法;基于新的用户兴趣模型,为了有效挖掘各兴趣子类中特征词间的关联关系,本文结合余弦相似性度量和词同现分析,设计了一种新的词间关系计算方法,建立与用户相关的词间关联度量化描述,可用于查询词扩展。②结合浏览行为分析和浏览内容挖掘,准确定位用户查询的兴趣类别;利用兴趣子类中的词间关联度计算,设计搜索词智能语义扩展算法,对用户的初始查询自动增加几个能准确表达其搜索意图的扩展词,一起提交给某大型搜索引擎如Yahoo/Google,进行实际的信息检索。这样的查询扩展方式能使普通搜索引擎实现个性化服务,即对提交相同查询词的用户返回不同的搜索结果。③内容完全重复或近似重复的网页充斥着互联网。搜索引擎的返回结果中也往往包含许多内容重复的网页,它们不但加重了用户浏览的负担,而且降低了搜索服务的质量。本文提出一种基于内容分析的检查相似文档的方法,尤其是对重复文档或近似重复文档的识别。为了进一步提高Web检索的质量,此方法主要应用于对搜索引擎返回的前N篇文档进行去重处理。本文第五章通过实验证明当前工作的有效性和可行性,上述研究在个性化搜索领域中具有一定的学术参考价值和较好的应用价值。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 国内外研究现状及分析
• 1.1.1 学术研究方面
• 1.1.2 实际应用领域
• 1.2 课题提出的意义
• 1.3 本文研究的内容
• 1.4 论文组织结构
• 2 基于新用户兴趣模型的词间相关性计算
• 2.1 新用户兴趣模型简介
• 2.1.1 新用户兴趣模型的建立
• 2.1.2 新用户兴趣模型的表示
• 2.2 词间关系度量的方法
• 2.3 基于新用户兴趣模型的词间关联度计算
• 2.3.1 基于兴趣子类描述构建特征词—文档矩阵
• 2.3.2 计算特征词的余弦相似性
• 2.3.3 计算特征词间的同现系数Tanimoto
• 2.3.4 结合Tanimoto 系数和余弦度量的词间相关性计算
• 2.4 本章小结
• 3 基于新用户兴趣模型的查询扩展
• 3.1 查询扩展研究的必要性及相关研究
• 3.1.1 查询扩展研究的必要性
• 3.1.2 查询扩展的相关研究
• 3.2 用户兴趣类的表示
• 3.3 基于用户兴趣描述的查询扩展
• 3.3.1 与查询相关的兴趣类识别
• 3.3.2 词间相关性的计算
• 3.3.3 扩展词的选取
• 3.4 本章小结
• 4 WEB 信息检索结果的去重
• 4.1 实用搜索引擎的检索特点及不足
• 4.2 基于内容分析的检索结果去重算法
• 4.2.1 网页重复的特征
• 4.2.2 页面相似性度量的相关研究
• 4.2.3 改进的页面相似性度量
• 4.3 本章小结
• 5 对比实验与结果分析
• 5.1 实验原型系统MYPSE 介绍
• 5.2 准备数据集
• 5.3 在测试集上检索的性能分析
• 5.4 在实用搜索引擎上检索的性能分析
• 5.4.1 整个检索文档集的统计
• 5.4.2 前N 篇文档集准确率的统计
• 5.5 去重效果的比较
• 5.6 本章小结
• 6 总结与展望
• 6.1 研究总结
• 6.2 研究展望
• 致谢
• 参考文献
• 附录