Web数据缓存与预取一体化的研究与应用

论文摘要

微博客伴随着Web2.0的步伐已近渐渐成为了互联网的主流应用之一。仅新浪微博就有近亿的注册用户,每天的微博发布量高达千万。如此庞大的信息量必然引发了更大的用户访问量,随之而来的则是各级服务器的负载加重以及网络访问的延迟。这些问题必然会降低用户体验,影响微博客的进一步发展。解决以上问题的关键就是Web数据的缓存与预取技术。缓存通过在网络的节点中存储数据从而有效的减少了对于源服务器的访问和缩短了获取数据的时间和距离；预取技术通过预测并提前获取未来的访问数据,能够有效的减少用户的访问等待时间。但是,目前对于这两项技术的研究都不能很好应对微博客这种新型网络应用的数据特性。微博客具有很强的时效性,同时每条微博有固定的大小,其关注／被关注的特点更容易形成固定的访问模式。因此,本文针对微博客的这些特点提出了与基于时间约束的缓存置换算法和数据预取算法,并将二者有效地结合,从而有效的提高了访问效率并且缩短了访问时间,对于节约了网络资源和提高用户体验有重要的意义。本文在传统的缓存置换算法基础上,提出了综合考虑数据对象的访问时间、大小和预测性能的缓存置换算法。当缓存剩余空间不足时,缓存置换算法通过计算数据对象多个评价参数的综合权值来决定将哪些数据副本置换出缓存空间。算法充分考虑了微博客小而快的数据特性,优先置换出较大的且长时间没有被访问的数据,保证小数据的“新鲜”。同时在现有的prefixSpan序列模式挖掘算法的基础上进行改进,加入时间约束条件,使之更符合微博客访问序列的挖掘。随后将获得的用户访问序列中的频繁序列与当前用户访问序列相匹配,通过滑动窗口方法对用户的访问行为做出预测。最终提出Web缓存与预取一体化的模型,将缓存与预取两项技术结合起来,达到更好的改进效果。本文的最后部分通过真实的访问日志数据,对缓存与预取一体化的模型进行了仿真模拟。通过对比其他几种缓存置换算法的效率,验证了本文提出的缓存与预取一体化模型的良好性能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究背景及意义
• 1.2 国内外研究现状及存在的问题
• 1.2.1 Web缓存技术
• 1.2.2 数据预取技术
• 1.2.3 缓存与预取一体化
• 1.3 本文的主要研究工作
• 1.4 论文的组织结构
• 第2章 缓存与预取相关技术
• 2.1 Web的工作原理
• 2.1.1 Web数据传输特性
• 2.1.2 Web的基本工作流程
• 2.1.3 Web访问特性
• 2.2 Web缓存技术基本理论
• 2.2.1 Web缓存分类
• 2.2.2 Web缓存的评价参数
• 2.3 Web数据预测与预取技术
• 第3章 基于访问序列挖掘的预取模型的研究
• 3.1 Web日志介绍
• 3.1.1 Web日志类型
• 3.1.2 Web日志格式
• 3.1.3 Web日志预处理
• 3.1.4 最大向前路径
• 3.2 序列模式挖掘
• 3.2.1 序列模式挖掘特性
• 3.2.2 序列挖掘建模
• 3.2.3 序列挖掘算法
• 3.3 基于Prefixspan序列模式挖掘算法的改进
• 3.3.1 Prefixspan算法建模
• 3.3.2 Prefixspan算法的改进
• 3.3.3 访问对象预测
• 第4章 缓存置换算法的研究
• 4.1 缓存置换算法
• 4.1.1 缓存置换算法建模
• 4.1.2 缓存置换算法
• 4.2 基于GDS缓存置换算法的改进
• 4.2.1 RGDSP替换策略
• 4.2.2 RGDSP算法描述
• 4.3 预取模型控制
• 4.4 缓存与预取一体化
• 第5章 实验设计及性能分析
• 5.1 实验环境
• 5.1.1 模拟系统软硬件环境
• 5.1.2 采用的模拟数据来源
• 5.2 实验平台设计
• 5.3 模拟实验方案及实现
• 5.3.1 预取模拟实验
• 5.3.2 缓存置换策略模拟实验
• 5.4 实验结果分析
• 5.4.1 预取模拟实验结果分析
• 5.4.2 缓存置换策略模拟实验结果分析
• 第6章 结论与展望
• 参考文献
• 致谢
• 攻读学位期间发表论文