海量存储管理技术——海量存储顽存性研究

论文摘要

在存储系统中,保障数据的可用性必须要求存储系统提供多种方式来实现高可靠性。本文在仔细分析目前常见的海量存储系统结构的基础上,对系统层面的可靠性进行了探讨,对NAS和SAN的结构进行了分析。讨论了存储系统存取控制层实现可靠性的保障手段,对多盘故障恢复编码方案进行了研究。将编码技术应用在磁盘容错上,特别是磁盘阵列中,有助于提高存储系统的容错性。文中对迄今提出的Reed-Solomon、Hover编解码进行了研究分析,并提出了一种海量存储数据容错的编码方案,针对多盘容错问题提出了新的思路,引进了“模级”,提出了通过变换“模级”来达到高度容错的可能性,解决了当前编码在实现中很难解决高度容错的问题。另外,随着数据激增,对数据的分类管理也提出要求,全面的数据维护和管理是重点。故提出安全管理的要求,生命周期的概念,同时对容灾技术进行探讨。在方法论上,对存储管理提出集中统一和分层管理等新观点。顽存性研究主要目的是希望提出一种通过算法和编码的改进使数据顽固存在,保证不论外界如何干扰数据都能顽固存在,并能通过相应的处理快速恢复的方法。同时本文所述的编码方法与Reed-Solomon编码的纠错方法进行了比较,本文所提出编码更适宜通过软件方法在磁盘阵列中实现,其有效地提高了存取速度并发现了在进行大块数据传输时该编码方案出现的瓶颈问题。最后就本文编码方案的容错机制进行了模拟和测试。通过对该码的编解码过程的讨论,分析了该码应用于海量网络存储中的优势,并从理论上提出了该码用在磁盘阵列中的问题,指出了该码的高效的实时性和准确性,可以保障在阵列系统中的磁盘故障快速恢复和数据重建等,从而为存储系统的可靠性又提供了一条新的路径。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究的目的和意义
• 1.2 海量存储市场状况和进展
• 1.3 论文各部分主要内容
• 第2章 海量存储技术和市场介绍
• 2.1 海量存储的应用需求
• 2.2 存储设备分类
• 2.3 存储技术的演进
• 2.3.1 三种主流存储模式及其特点介绍
• 2.3.2 NAS与DAS的比较
• 2.3.3 NAS与SAN的比较
• 第3章 存储数据存储数据安全管理
• 3.1 磁盘驱动器的可靠性分析
• 3.1.1 网络附属存储NAS
• 3.1.2 存储区域网络SAN
• 3.1.3 IP存储网络IPSAN
• 3.2 系统的可靠性
• 3.2.1 系统的有效度
• 3.2.2 系统的可用性
• 3.3 常用数据备份技术
• 3.3.1 数据备份技术
• 3.3.2 数据备份方法
• 3.4 存储生命周期管理
• 3.4.1 存储生命周期管理的概念
• 3.4.2 存储生命周期管理的具体内容
• 3.5 容灾技术
• 3.5.1 关键数据容灾难的重要性
• 3.5.2 容灾技术概述
• 第4章 海量网络存储系统中容错算法
• 4.1 存储系统中数据可靠性算法分类
• 4.1.1 MDS编码
• 4.1.2 PAC算法
• 4.1.3 LDPC算法
• 4.2 相关概念术语及其他编码
• 4.2.1 相关的概念术语
• 4.2.2 Reed-Solomon编码
• 4.2.3 Cauchy RS算法
• 4.3 顽存性海量存储编解码过程
• 4.3.1 编码
• 4.3.2 解码
• 第5章 海量网络存储顽存性的性能测试及其分析
• 5.1 顽存性网络存储效率及性能分析
• 5.2 顽存性网络存储编效率分析
• 5.3 顽存性网络存储编码与RS编码比较
• 第6章 结论
• 6.1 论文的工作总结
• 6.2 在其他领域应用展望
• 6.2.1 在网格中的应用
• 6.2.2 在下一代互联网中的应用
• 6.3 下一步工作
• 参考文献
• 致谢