云存储系统高效数据传输机制的研究

论文摘要

为了适应数据迅速增长的趋势和用户随处存取的需求,越来越多的企业开始部署云存储系统。网络服务存储系统将网络中大量存在的开放存储服务聚合起来,提供了较为可观的空间和带宽总量,并具有强服务能力、高透明性、高可扩展性等特点。但是在网络服务存储系统中,有限的边缘存储服务运营商与庞大的用户存储数据量之间相互牵制。当某种存储服务同一时刻接受大量任务请求时,极有可能导致用户数据丢失,从而降低了系统可用性。高效数据传输机制有效解决了上述问题。该机制根据网络服务存储系统中文件特点,改进了Kademlia算法,在用户节点组建底层的peer-to-peer（P2P）网络结构,实现了用户节点之间数据共享。通过分析了系统用户在线时间和行为特征,提出并实现了超级节点选择算法。同时根据系统中文件备份数和数据下载成功率,结合超级节点信息,实现了基于协同传输节点群的高效备份策略。高效数据传输机制设计了一套完善的数据传输算法,针对用户不同的操作如上传,下载和协同传输而实现了不同的透明传输策略。最后该机制为系统引进了缓存服务器,它保存了一份完整的冗余文件,并承担系统复制策略的主要数据分发工作。系统测试日志表明,高效数据传输机制引入系统后,将上传文件时间缩短了约1/3,下载文件时间缩短了约1/2。同时,在系统文件备份数目达到一定阈值后,用户从邮箱服务器下载文件的成功率也提高到95%以上,基本接近邮箱存储的理想状态。基于改进后的系统被动复制策略,可以看出协同群组传输数据的成功率明显提高,达到了97%以上。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 问题提出
• 1.2 国内外研究现状
• 1.3 课题背景与研究内容
• 1.4 文章框架结构
• 2 高效数据传输机制的设计
• 2.1 设计思想
• 2.2 体系结构
• 2.3 模块结构
• 2.4 处理流程
• 2.5 小结
• 3 用户节点动态管理
• 3.1 超级节点选择策略
• 3.2 协同备份节点选择策略
• 3.3 用户节点信息统计与收集
• 3.4 用户节点组织与管理实现
• 3.5 小结
• 4 数据传输控制管理
• 4.1 数据流传输策略
• 4.2 数据传输实现方式
• 4.3 数据传输任务调度
• 4.4 本章小结
• 5 系统测试与分析
• 5.1 测试环境
• 5.2 功能测试
• 5.3 性能测试与结果分析
• 5.4 本章小结
• 6 总结与展望
• 致谢
• 参考文献