基于Kademlia覆盖网的P2P存储系统研究

论文摘要

随着网络技术的发展,网络存储技术越来越受到人们的重视。网络存储技术遇到的一个问题是如何把网络中闲置存储资源组织起来形成一个巨大的虚拟存储空间。P2P技术给网络存储技术的发展带来了新的契机。在动态P2P网络环境下构建大规模、高可靠、高性能的分布式存储系统,是近年来研究的热点之一。虽然P2P系统有与生俱来的高容错潜力,但P2P系统中每个节点具有很强的动态性同时系统易于遭到恶意用户的破坏,这使得构建P2P存储系统极富挑战。这是由于系统中的节点均负责存储数据,一旦某节点暂时离开或者恶意用户将存储在节点上的数据丢弃,那么就会造成系统中数据的不可靠性。因此,如何提供数据的持久存储,屏蔽这些系统错误成为近年来P2P存储领域的研究热点。本文致力于构建一个安全且可靠的P2P分布式存储系统,分析并研究了P2P存储的相关技术,最终在改进后的Kademlia覆盖网络上建立一个分布式的存储系统—KFS。文中首先分析了P2P网络的特点并着重介绍了当前知名的P2P覆盖网以及它们的路由机制,同时对现有的P2P存储系统及其相关技术进行深入研究。接着采用分层结构提出了一个基于结构化P2P覆盖网的分布式存储系统。在设计过程中,通过对用户的认证与数据加密机制来确保系统的安全性与数据的完整性。同时采用了文件分数据块的存储方案来实现系统的负载平衡与数据缓存。为了提高系统的可靠性,文中利用了纠删码与副本相结合的冗余策略来增强系统中数据的可用性与系统的容错能力。通过研究与分析,证明该系统具有了很强的安全性与较好的可靠性。本文的主要贡献在于以下三点:1.针对P2P存储系统的安全机制,提出了一种基于CA认证与数据加密的安全P2P存储技术。这对进一步研究P2P安全存储具有一定的参考价值。2.结合传统的Kademlia覆盖网路由机制,对其进行研究改进并提出了一种更为有效的路由算法,使得底层覆盖网更适合上层应用。3.对P2P存储系统进行建模并量化比较了纠删码与副本两种冗余策略对系统可靠性的影响。主要考查这两种方案在确保数据满足一定可靠率的情况下系统所使用的副本数与节点存储资源的使用。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 P2P 简介
• 1.3 P2P 分类
• 1.4 国内外研究现状
• 1.4.1 Chord
• 1.4.2 CAN
• 1.4.3 P2P 存储系统介绍
• 1.5 课题的背景与意义
• 1.6 本文的组织结构
• 第二章 KFS 存储系统设计
• 2.1 KFS 存储系统
• 2.1.1 理想的P2P 存储系统
• 2.1.2 KFS 的层次关系
• 2.1.3 实体标识
• 2.2 文件组织
• 2.2.1 文件数据块组织
• 2.2.2 目录结构
• 2.3 系统的安全策略
• 2.3.1 用户的认证
• 2.3.2 访问控制
• 2.3.3 数据加密
• 2.3.4 用户组
• 2.4 数据操作
• 2.4.1 数据存储
• 2.4.2 数据读取
• 2.4.3 数据冗余
• 2.4.4 数据缓存
• 2.4.5 存储空间管理
• 2.5 本章小结
• 第三章 改进的Kademlia 协议及算法分析
• 3.1 DHT
• 3.1.1 DHT 结构
• 3.1.2 DHT 路由
• 3.1.3 DHT 特点
• 3.2 Kademlia 系统描述
• 3.2.1 节点和Key
• 3.2.2 距离度量
• 3.2.3 路由表
• 3.3 路由策略
• 3.3.1 网络协议
• 3.3.2 基本操作
• 3.3.3 节点查询
• 3.3.4 节点加入与离开
• 3.4 本章小结
• 第四章 RS-Raid 冗余算法
• 4.1 纠删码
• 4.2 RS-Raid 算法
• 4.3 算法描述
• 4.3.1 计算和维护校验和数据
• 4.3.2 数据的恢复
• 4.3.3 Galois Fields 算法
• 4.4 RS-Raid 算法总结
• 4.5 本章小结
• 第五章 系统的冗余策略建模与仿真
• 5.1 副本放置策略
• 5.2 常规副本策略
• 5.2.1 文件可靠性
• 5.2.2 系统级的可靠性
• 5.2.3 存储需求
• 5.3 纠删码文件复制
• 5.4 本章小结
• 第六章 总结
• 致谢
• 参考文献
• 攻硕期间取得的研究成果