分布式容灾备份系统的设计与实现

分布式容灾备份系统的设计与实现

论文摘要

随着计算机网络的快速发展,信息安全已成为各大企业关注的热点问题之一。对于以信息为核心的公司,公司信息数据若因各种自然或者人为原因而丢失或被破坏将严重影响到公司的正常运转。正是对数据高安全性的要求使得容灾备份技术得到广泛的关注。容灾备份已成为当前是比较前沿的研究课题。本课题正是鉴于容灾备份的高成本,利用现在发展迅速的网络存储技术,主要面向中小型企业,结合国内灾备市场的需求,提出了一种可降低成本又兼顾性能的灾备方案。该方案创新性地综合了分布式存储、纠删码、AES加解密等技术,充分利用分布式存储均匀地将数据块进行异地存储的特点,RS编解码高效的数据拆分和容错恢复能力进行冗余备份,AES加密技术对于数据的保密性保障。该方案能大大提高容灾备份性能以及降低备份成本。本文以RS类纠删码和Hadoop技术为研究核心,提出了在分布式环境下适合本灾备系统的编码方案以及一种基于HDFS的分布式存储方案。从RS纠删码的编解码原理和算法流程来介绍编解码模块的开发,从HDFS的特性和机制、集群环境的搭建、程序代码的编写等几个方面来介绍分布式存储模块的设计与实现。此外,研究并实现对大文件的AES加解密,采用多线程通信和并行传输。为海量的关键数据提供存储和传输上可靠的保障。最后对本系统进行部署和测试分析,通过测试的结果分析系统性能。该创新方案相对于传统备份,所减少的备份时间达一半以上,备份成本节省约60%,为数据带来了很好的容错能力和较高的安全保障。纠删码结合加密在降低存储空间和保障数据安全方面优于传统备份和其他技术。网络的异地分布式存储进一步提高数据的安全性,节约服务器的成本。这样的容灾备份系统,尤其适合于目前顺应本国经济高速发展而逐渐涌现的各类的中小型企业,提高这类企业的容灾能力,无疑将为本国经济高速平稳以及可持续发展注入一记强心剂。

论文目录

  • 中文摘要
  • Abstract
  • 第一章 前言
  • 1.1 研究背景和意义
  • 1.2 国内外研究现状
  • 1.2.1 分布式存储研究现状
  • 1.2.2 纠删码技术研究现状
  • 1.3 主要研究和实现的内容
  • 1.4 论文组织结构
  • 第二章 模型与主要技术
  • 2.1 纠删码的概念与原理
  • 2.2 分布式存储
  • 2.2.1 Hadoop技术框架
  • 2.2.2 HDFS模型
  • 2.3 AES加密安全传输
  • 2.4 本章小结
  • 第三章 RS类纠删码的算法研究
  • 3.1 RS类纠删码
  • 3.1.1 范德蒙码
  • 3.1.2 柯西码
  • 3.2 RS编码实现原理
  • 3.2.1 计算校验和
  • 3.2.2 高斯消元法恢复错误
  • 3.2.3 伽罗华域上的运算
  • 3.3 算法实现步骤
  • 3.4 本章小结
  • 第四章 分布式存储的研究
  • 4.1 数据交互
  • 4.1.1 文件读取
  • 4.1.2 文件写入
  • 4.2 数据可靠性保证
  • 4.2.1 编辑日志和空间镜像
  • 4.2.2 分块和备份
  • 4.2.3 心跳检测节点故障
  • 4.2.4 数据校验
  • 4.3 本章小结
  • 第五章 系统的设计与实现
  • 5.1 系统框架
  • 5.2 分布式存储
  • 5.2.1 数据操作
  • 5.2.2 信息获取
  • 5.3 数据编码备份
  • 5.4 数据解码恢复
  • 5.5 AES加解密
  • 5.5.1 加密
  • 5.5.2 密钥扩展
  • 5.5.3 解密
  • 5.5.4 算法优化
  • 5.6 本章小结
  • 第六章 测试与分析
  • 6.1 测试方案
  • 6.2 测试环境
  • 6.3 编码性能测试
  • 6.3.1 数据大小对编码性能的影响
  • 6.3.2 原始数据分块数对编码性能的影响
  • 6.3.3 冗余块数对编码性能的影响
  • 6.4 系统性能评估
  • 6.5 运行结果
  • 6.6 本章小结
  • 总结与展望
  • 总结
  • 展望
  • 参考文献
  • 致谢
  • 个人简历、在学期间的研究成果及发表的学术论文
  • 相关论文文献

    标签:;  ;  ;  

    分布式容灾备份系统的设计与实现
    下载Doc文档

    猜你喜欢