一种基于Cache机制及负载均衡的分层副本定位方法

论文摘要

网格的思想源于电力网,是分布式网络技术的一个新发展,目的在于在更高的层次上实现通用意义的资源共享。数据网格是随着网格技术的出现和数据密集型应用的发展而产生的,是将广域分散的异构数据资源进行整合,为用户提供全面的数据资源共享和计算能力集成,实现数据资源的高度融合协作。数据网格是对海量数据操作,且具有地理分布性、环境异构性、资源动态性、个体自制性、相互协同性等特点,这迫切需求对其进行有效组织和管理。对数据资源适当复制可有效提高访问效率、避免访问瓶颈、减少网络延迟和带宽消耗。副本定位是数据网格的重要技术,其主要功能是发布新副本、维护副本目录、根据用户给定条件找到数据资源的一个或多个副本。一个好的副本定位服务,可有效提高副本查找速度,节省带宽、计算和存储资源,从而实现查询优化,提高系统性能。本文在总结已有副本定位服务不足的基础上,充分分析了分布式环境下数据共享特性(小世界特性)和数据网格特征,结合P2P资源定位技术,提出了一种新的方法,即一种基于Cache机制及负载均衡的分层副本定位方法。该方法充分考虑到副本信息存储和副本定位计算两种负载,采用数据社区(即数据资源需求相对集中的用户群构成的集合)将副本定位分为两层,即社区层副本定位和社区联合层副本定位。在社区层,基于小世界的高度局部聚类性和较小全局平均路径长度特性,提出了一种基于小世界模型的环状消息扩散方法,通过该方法将副本定位消息以双环形式扩散到社区内其它节点,实现副本局部定位。在社区联合层,基于DHT的P2P资源定位方法,提出了一种基于前缀匹配的路由算法——PrefixMR。通过PrefixMR将副本索引信息均衡映射到各节点,实现副本信息全局索引;考虑到分布式环境下数据资源访问的时间、用户、文件局部性特征,为减少访问相似数据资源副本产生计算和带宽冗余,引用了Cache机制,该机制与PrefixMR共同完成社区联合层副本定位,实现副本全局定位。经实验表明,该方法提高了副本定位速度,具有较好的负载均衡性、可用性以及可扩展性。

论文目录

• 内容摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 数据网格的产生
• 1.1.2 著名的数据网格项目
• 1.1.3 数据网格的特性
• 1.1.4 构建数据网格的关键技术
• 1.2 副本定位及其研究现状
• 1.3 本文的工作与组织
• 第二章 RepliLoc 及其体系结构
• 2.1 分布式环境下数据访问特性（小世界现象）
• 2.2 基于DHT 的P2P 资源定位技术
• 2.3 RepliLoc 的体系结构
• 2.4 RepliLoc 的副本定位
• 2.5 小结
• 第三章 社区层副本的发布与定位
• 3.1 小世界效应及小世界模型
• 3.2 社区层 Cache 机制的引用
• 3.3 基于小世界模型的环状消息扩散方法
• 3.4 社区层的副本发布
• 3.5 社区层的副本定位
• 3.6 小节
• 第四章 社区联合层副本的发布与定位
• 4.1 动态可扩展的CIN 逻辑标识方法
• 4.2 CIN 路由表结构和路由算法
• 4.2.1 CIN 内双邻居路由表的结构
• 4.2.2 基于前缀匹配的路由算法PrefixMR
• 4.3 社区联合层上 Cache 机制的引用
• 4.4 社区联合层副本发布
• 4.5 社区联合层副本定位
• 4.6 小结
• 第五章 实验及其性能分析
• 5.1 实验环境
• 5.2 Java 类的设计
• 5.3 数据库及表的设计
• 5.4 P2P 环境的搭建
• 5.5 性能的测试及其分析
• 5.6 小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 进一步工作方向
• 参考文献
• 致谢
• 硕士期间科研成果