基于RBM的搜索引擎

论文摘要

随着互联网及移动互联网技术的不断发展,一方面是用户和互联网交互的程度不断加深,越来越多的用户反馈了相当多的数据,可以从中洞悉到用户体验、商业营销、个人偏好和通常所说的人类行为,从而提供更有针对性的服务。而另一方面,随着信息日益丰富,如何能够使用户通过搜索引擎更为准确、快速的检索到需要的信息就成了人们普遍关注的焦点,针对搜索引擎的网页排序算法的研究就是其中的热点之一。传统的搜索引擎是基于网页内容排序,一些人为了能提高网站排名,达到吸引更多用户的目的,增加很多无效的内容或者使用其它的方式作弊。如何有效的利用用户反馈的数据来改善搜索引擎的页面排序、防止作弊、提供更为优质的服务,就成了本文研究的重点。论文主要研究工作如下：(1)针对传统的网页排序算法中出现的作弊问题,研究提出一种基于受限波尔兹曼机(Restricted Boltzmann Machines,简记为RBM)的网页排序算法。该算法有机结合了RBM模型的模式识别能力,利用之前用户反馈的信息完成学习,调整关键词与页面的相关系数,通过相关系数的高低完成网页排序。实验结果表明：基于RBM的网页排序算法不仅能够合理地根据之前的用户反馈数据为新的检索请求返回相关性高的检索结果,该算法还能够对未检索过的信息作出相关性的预测。(2)针对用户在检索信息时,更注重结果是否与自身需求相吻合的情况,提出基于RBM的个性化搜索引擎方案。该方案对带有用户个性特征的样本进行学习,为用户个性化地调整关键字同页面间的相关系数。当用户检索信息时,按照调整后的相关系数高低完成排序,满足用户个性化的需求。(3)针对本文提出的搜索引擎在网页排序及学习上需要耗费大量时间等问题,研究提出基于并发的搜索引擎。通过引入计算同一设备架构(Compute Unified Device Architecture,简记为CUDA),把RBM模型在网页排序和学习的工作拆分成多个步骤,实现每一个步骤内部的并行计算；并利用CUDA的流技术实现了网页排序模块和学习模块之间并发执行。用仿真技术对搜索引擎的排序和学习过程进行仿真,并对仿真结果进行了统计和分析,结果表明CUDA能够对搜索引擎的运行提供较好的加速,增加了单位时间内的吞吐量。加快检索过程能够降低用户等待的时间,及时的学习可以更快的反映当前用户的反馈情况,使结果更为准确。在国内对用户反馈的数据研究尚有不足的背景下,本文融合了RBM模型与基于用户反馈的搜索引擎模型,实现了基于RBM的网页排序算法,建立了基于RBM的搜索引擎模型。论文研究成果对进一步的利用用户反馈的数据改进网页排序算法和提供具有针对性的服务具有重要的理论参考价值和使用价值。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景及意义
• 1.2 国内外研究现状
• 1.3 本文研究内容和创新点
• 1.4 论文组织结构
• 第2章 预备知识
• 2.1 搜索引擎
• 2.1.1 搜索引擎形式
• 2.1.2 工作原理
• 2.1.3 搜索引擎的技术发展趋势
• 2.2 RBM
• 2.2.1 RBM简介
• 2.2.2 深度信任网络
• 2.2.3 RBM的应用
• 2.3 本章小结
• 第3章 基于RBM的通用搜索引擎的研究和实现
• 3.1 准备工作
• 3.1.1 站点文件收集
• 3.1.2 站点文件处理
• 3.1.3 分词器优化
• 3.2 基于RBM的网页排序算法
• 3.2.1 转换用户检索信息
• 3.2.2 从用户反馈中学习
• 3.2.3 网页排序
• 3.3 仿真实验
• 3.4 本章小结
• 第4章 基于RBM的个性化搜索引擎的研究
• 4.1 个性化搜索引擎
• 4.2 基于RBM的个性化搜索引擎方案
• 4.2.1 实现原理
• 4.2.2 实现方法
• 4.2.3 实现条件
• 4.3 个性化搜索引擎的优势
• 4.4 方案改进
• 4.5 本章小结
• 第5章 RBM的并发执行
• 5.1 CUDA相关技术介绍
• 5.1.1 背景
• 5.1.2 CUDA执行模型
• 5.1.3 CUDA存储器模型
• 5.1.4 高并行计算可靠性
• 5.2 RBM的并发执行
• 5.2.1 模块内并行
• 5.2.2 模块间并发
• 5.3 实验结果与分析
• 5.3.1 实验结果
• 5.3.2 结果分析
• 5.4 本章小结
• 第6章 总结和展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献
• 附录
• 详细摘要