Web数据缓存与预取一体化的研究与应用

Web数据缓存与预取一体化的研究与应用

论文摘要

微博客伴随着Web2.0的步伐已近渐渐成为了互联网的主流应用之一。仅新浪微博就有近亿的注册用户,每天的微博发布量高达千万。如此庞大的信息量必然引发了更大的用户访问量,随之而来的则是各级服务器的负载加重以及网络访问的延迟。这些问题必然会降低用户体验,影响微博客的进一步发展。解决以上问题的关键就是Web数据的缓存与预取技术。缓存通过在网络的节点中存储数据从而有效的减少了对于源服务器的访问和缩短了获取数据的时间和距离;预取技术通过预测并提前获取未来的访问数据,能够有效的减少用户的访问等待时间。但是,目前对于这两项技术的研究都不能很好应对微博客这种新型网络应用的数据特性。微博客具有很强的时效性,同时每条微博有固定的大小,其关注/被关注的特点更容易形成固定的访问模式。因此,本文针对微博客的这些特点提出了与基于时间约束的缓存置换算法和数据预取算法,并将二者有效地结合,从而有效的提高了访问效率并且缩短了访问时间,对于节约了网络资源和提高用户体验有重要的意义。本文在传统的缓存置换算法基础上,提出了综合考虑数据对象的访问时间、大小和预测性能的缓存置换算法。当缓存剩余空间不足时,缓存置换算法通过计算数据对象多个评价参数的综合权值来决定将哪些数据副本置换出缓存空间。算法充分考虑了微博客小而快的数据特性,优先置换出较大的且长时间没有被访问的数据,保证小数据的“新鲜”。同时在现有的prefixSpan序列模式挖掘算法的基础上进行改进,加入时间约束条件,使之更符合微博客访问序列的挖掘。随后将获得的用户访问序列中的频繁序列与当前用户访问序列相匹配,通过滑动窗口方法对用户的访问行为做出预测。最终提出Web缓存与预取一体化的模型,将缓存与预取两项技术结合起来,达到更好的改进效果。本文的最后部分通过真实的访问日志数据,对缓存与预取一体化的模型进行了仿真模拟。通过对比其他几种缓存置换算法的效率,验证了本文提出的缓存与预取一体化模型的良好性能。

论文目录

  • 摘要
  • Abstract
  • 第1章 绪论
  • 1.1 课题研究背景及意义
  • 1.2 国内外研究现状及存在的问题
  • 1.2.1 Web缓存技术
  • 1.2.2 数据预取技术
  • 1.2.3 缓存与预取一体化
  • 1.3 本文的主要研究工作
  • 1.4 论文的组织结构
  • 第2章 缓存与预取相关技术
  • 2.1 Web的工作原理
  • 2.1.1 Web数据传输特性
  • 2.1.2 Web的基本工作流程
  • 2.1.3 Web访问特性
  • 2.2 Web缓存技术基本理论
  • 2.2.1 Web缓存分类
  • 2.2.2 Web缓存的评价参数
  • 2.3 Web数据预测与预取技术
  • 第3章 基于访问序列挖掘的预取模型的研究
  • 3.1 Web日志介绍
  • 3.1.1 Web日志类型
  • 3.1.2 Web日志格式
  • 3.1.3 Web日志预处理
  • 3.1.4 最大向前路径
  • 3.2 序列模式挖掘
  • 3.2.1 序列模式挖掘特性
  • 3.2.2 序列挖掘建模
  • 3.2.3 序列挖掘算法
  • 3.3 基于Prefixspan序列模式挖掘算法的改进
  • 3.3.1 Prefixspan算法建模
  • 3.3.2 Prefixspan算法的改进
  • 3.3.3 访问对象预测
  • 第4章 缓存置换算法的研究
  • 4.1 缓存置换算法
  • 4.1.1 缓存置换算法建模
  • 4.1.2 缓存置换算法
  • 4.2 基于GDS缓存置换算法的改进
  • 4.2.1 RGDSP替换策略
  • 4.2.2 RGDSP算法描述
  • 4.3 预取模型控制
  • 4.4 缓存与预取一体化
  • 第5章 实验设计及性能分析
  • 5.1 实验环境
  • 5.1.1 模拟系统软硬件环境
  • 5.1.2 采用的模拟数据来源
  • 5.2 实验平台设计
  • 5.3 模拟实验方案及实现
  • 5.3.1 预取模拟实验
  • 5.3.2 缓存置换策略模拟实验
  • 5.4 实验结果分析
  • 5.4.1 预取模拟实验结果分析
  • 5.4.2 缓存置换策略模拟实验结果分析
  • 第6章 结论与展望
  • 参考文献
  • 致谢
  • 攻读学位期间发表论文
  • 相关论文文献

    • [1].基于媒体数字信号处理器的流预取机制[J]. 浙江大学学报(工学版) 2014(02)
    • [2].链表结构反馈预取机制[J]. 高技术通讯 2019(01)
    • [3].一种面向分布式文件系统的文件预取模型的设计与实现[J]. 计算机科学 2014(07)
    • [4].移动数据库中支持位置相关查询的数据预取策略[J]. 沈阳航空航天大学学报 2011(02)
    • [5].网格虚拟组织副本协作预取机制[J]. 软件学报 2011(10)
    • [6].动态二进制翻译中数据预取优化研究[J]. 计算机应用研究 2009(12)
    • [7].帮助线程预取质量的实时在线评价方法[J]. 计算机应用 2017(01)
    • [8].基于缓存行为特征的线程数据预取距离控制策略[J]. 电子与信息学报 2015(07)
    • [9].代理服务器中基于对象的限定预取策略研究[J]. 计算机工程与科学 2009(03)
    • [10].网络化移动应用的全局适应性数据预取机制[J]. 软件学报 2010(08)
    • [11].基于流访问特征的多级硬件预取[J]. 计算机工程 2016(01)
    • [12].多用户存储中自适应动态预取策略[J]. 电子技术应用 2013(01)
    • [13].位置相关信息服务中的一种数据预取方法[J]. 微处理机 2014(01)
    • [14].移动环境下支持实时事务处理的数据预取[J]. 计算机学报 2008(10)
    • [15].位置相关信息服务中一种基于价值的数据预取方法[J]. 价值工程 2011(10)
    • [16].浅析网页中WEB预取的特点及方法[J]. 硅谷 2009(18)
    • [17].基于数据挖掘的文件元数据预取探究[J]. 信息安全与技术 2014(03)
    • [18].基于微云的移动视频预取系统[J]. 计算机科学 2016(04)
    • [19].副本协作预取中文件相关性查询机制[J]. 软件学报 2013(09)
    • [20].多线程环境下基于多预取点的文件预取[J]. 计算机应用 2012(06)
    • [21].面向按序执行处理器的预执行指导的数据预取方法[J]. 电子学报 2012(11)
    • [22].利用LMS规则的预取策略[J]. 武汉大学学报(信息科学版) 2009(08)
    • [23].异构环境下基于双重预取的Hadoop调度算法[J]. 计算机测量与控制 2016(09)
    • [24].分布式系统卷重构过程的改写块预取方法[J]. 湖南大学学报(自然科学版) 2009(01)
    • [25].基于用户当前兴趣的网页预取方法[J]. 计算机与数字工程 2011(09)
    • [26].大规模流场矢量线可视化的数据预取方法[J]. 计算机辅助设计与图形学学报 2016(03)
    • [27].Intel~64体系结构的数据预取机制及效果[J]. 计算机科学 2016(05)
    • [28].面向非规则大数据分析应用的多核帮助线程预取方法[J]. 通信学报 2014(08)
    • [29].Web预取性能指标准确率与查全率的关系[J]. 计算机工程 2010(03)
    • [30].一种基于线程的数据预取方法[J]. 计算机工程与科学 2008(01)

    标签:;  ;  ;  ;  

    Web数据缓存与预取一体化的研究与应用
    下载Doc文档

    猜你喜欢