基于数据消冗和Chord协议的分布式存储技术研究

论文摘要

随着信息时代数据规模急剧增长,信息量不断激增,数据信息已成为人类宝贵的财富,数据的价值已经远远超过了计算机系统本身的价值;另一方面,各种不确定因素又使得数据极易丢失,从而给用户带来了巨大的损失。因此,面对海量数据对存储系统各方面需求的挑战,高效率的数据存储技术受到了人们的广泛关注。为适应海量数据对存储系统各方面的需求,本文首先研究了现有的分块级数据消冗技术,比较了定长分块数据消冗和变长分块数据消冗的优缺点,分析了影响数据消冗效果的因素。接着重点研究了基于Rabin指纹的变长分块算法,提出了一种新型的文件切点查找算法。本文还根据基于分块的数据消冗技术和基于Chord的分布式存储技术的特点对文件资源定位进行了设计,并根据Chord协议的特点将文件分块的索引信息按区间分布在不同的节点中,以二级索引的方式解决了集中式分块索引的难题。本文最后提出了基于Chord协议的分布式存储技术和基于Rabin指纹的变长分块的数据消冗相结合的的分布式存储系统结构。实验结果表明,在基于Chord协议的分布式存储系统中引入数据消冗技术,可以降低整个分布式存储系统的存储负担。此外,数据传输量的减少也有利于提高低速网络下的数据备份与恢复的效率。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景及研究意义
• 1.2 相关领域研究
• 1.2.1 分布式存储技术
• 1.2.2 数据消冗技术
• 1.3 主要工作
• 1.4 论文结构安排
• 第2章 数据消冗和Chord协议相关内容介绍
• 2.1 数据消冗技术概述
• 2.2 数据消冗算法
• 2.2.1 基于全文件的数据消冗
• 2.2.2 基于文件分块的数据消冗
• 2.2.3 基于Delta编码的数据消冗
• 2.3 DHT算法概述
• 2.3.1 DHT的基本原理
• 2.3.2 DHT的特点
• 2.4 相容哈希函数的选择
• 2.5 Chord基础工作原理
• 2.6 本章小结
• 第3章 基于分块的数据消冗技术研究
• 3.1 基于分块的数据消冗技术
• 3.1.1 基于分块的数据消冗的流程
• 3.1.2 定长切分
• 3.1.3 变长切分
• 3.2 变长分块算法
• 3.2.1 基于Rabin指纹的变长分块算法
• 3.2.2 影响消冗性能的因素分析
• 3.3 变长分块算法改进
• 3.3.1 控制分块大小
• 3.3.2 增加备用切点
• 3.4 本章小节
• 第4章 基于数据消冗的分布式存储相关设计
• 4.1 基于Chord的文件资源分布设计
• 4.2 分块两级索引结构设计
• 4.2.1 基于Chord的两级分块索引区间设计
• 4.2.2 B+树索引结构设计
• 4.3 全文件与变长分块相结合的数据消冗策略
• 4.4 Chord对象定位算法
• 4.5 本章小结
• 第5章 基于数据消冗和Chord协议的分布式存储系统设计
• 5.1 数据分块生成模块
• 5.2 分块分发与获取模块
• 5.2.1 文件分发
• 5.2.2 文件获取
• 5.3 动态维护模块
• 5.3.1 节点的加入
• 5.3.2 节点的退出
• 5.4 系统数据消冗性能测试
• 5.5 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢