进化存储系统中的逻辑和物理进化研究

论文摘要

现有存储系统物理和逻辑的组织是一种静态的结构,而静态组织结构模型不能很好地刻画处于不断变化之中的系统,此外,现有存储系统缺少适应不断变化的存储要求的机制。这种结构往往只适合于特定的应用需要。针对现有存储系统存在的问题,进化存储系统（Evolving Storage System,ESS）主要从如何构建一个动态的、适应外部应用不断变化的存储系统的组织结构,采用何种数据分布优化策略,以及系统对于新部件替换和添加的策略进行探讨和研究,致力于给用户提供一个高容量、高性能、高可用、可扩展的,能够适应多种负载特征的存储系统。根据“进化存储系统”的概念和思想,并基于IEEE开放存储系统互连参考模型（IEEE Open Storage System Interconnection Reference Model, OSSI Model）建立的ESS系统体系结构视图,详细描述了ESS存储系统各部件的功能,便于该系统的软件实现。ESS系统中的进化策略可分为物理进化和逻辑进化。为设计和实现ESS系统,需要解决的几个问题是:（1）ESS系统采用何种体系结构,以有效地管理中/大规模数目的磁盘、服务于大范围特征的负载（2）ESS系统如何调整数据的分布,以适应系统工作负载的动态变化（3）如何用异构磁盘替换系统中的失效磁盘,以及如何向系统添加新的磁盘,实现ESS系统的物理进化。磁盘阵列（RAID）利用多个磁盘的并行工作来提高存储子系统的I/O性能,并采用数据冗余策略来保证可用性。为了适应对存储子系统容量和性能有很高要求的应用的飞速发展,ESS系统依旧必须采用RAID技术,同时,ESS系统借鉴集群文件系统中分布式虚拟磁盘的概念,提出了一种可动态调节的、由自适应的阵列单元构成的系统结构——ESS系统把所有系统磁盘构建成若干个结构与传统阵列完全相同的“子”RAID（SubRAID）,这些SubRAID共同组成一个全局的存储空间;但各SubRAID可以根据其组成磁盘的数目、容量、性能、以及所服务负载的特点不同而采用不同的数据分布方式和性能优化策略。因此,通过结构不同的SubRAID服务不同的应用请求,整个ESS系统能够对各个用户表现出更佳的性能。为了给应用提供更好的服务质量,存储系统数据的组织和分布需要随着外在的数据流输入输出的变化而变化。ESS系统采用“两级”的数据迁移策略,即先通过SubRAID内部的数据迁移来对负载波动作出响应,更大幅度的负载变化则通过数据在SubRAID之间的动态迁移来适应。SubRAID内部的数据迁移策略基于PMSH算法,该算法利用多分区磁盘具有远轴心区数据传输率较高的特点,根据分条单元的“热度”,动态地将访问率高的分条单元迁移到其所在磁盘的数据传输率较高的分区; SubRAID间的数据动态迁移策略根据用户负载请求大小、读写请求比率的不同将数据迁移到组成磁盘数目、容量、性能、以及数据分布方式和性能优化策略不同的SubRAID,因此通过数据在SubRAID内部和SubRAID之间的动态迁移,ESS系统数据的组织以及整个系统中各种不同属性数据的分布可以随着外在的数据流输入输出的变化而相应改变,实现ESS系统数据逻辑进化。进化存储系统要克服的一个主要矛盾是元部件飞速发展和存储系统整体结构相对固定的矛盾,目前结构的存储系统不会由于更新了部件而得到整体性能的提高。ESS存储系统主要考虑的元部件是系统磁盘。磁盘技术的迅速发展以及应用对存储系统的容量和性能的要求日益增加使存储系统中的磁盘呈现三种类型的动态变化:同构磁盘的添加、异构磁盘的添加以及异构磁盘的替换。ESS系统的可扩展性和磁盘的异构性使其能很好地适应磁盘的动态变化,分别采用DAA、HDAA、e-HDAA算法来适应三种类型的磁盘动态变化,在不给运行的存储系统带来太大的开销的前提下添加（同构或异构）磁盘或替换异构磁盘,并充分利用添加或替换后的磁盘,获得优化的存储容量和存储性能,实现ESS存储系统物理进化。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 课题来源
• 1.2 存储技术发展趋势及现状
• 1.3 存储系统中的关键技术：RAID
• 1.4 网络存储系统的自适应技术
• 1.5 本文研究的目的和主要内容
• 1.6 本章小结
• 2 进化存储系统模型
• 2.1 引言
• 2.2 进化存储系统基本思想
• 2.3 进化存储系统的结构视图
• 2.4 主要问题分析
• 2.5 本章小结
• 3 进化存储系统的系统结构
• 3.1 引言
• 3.2 进化存储系统的硬件体系结构
• 3.3 进化存储系统的逻辑结构
• 3.4 ESS 系统中逻辑空间到磁盘物理地址的映射
• 3.5 仿真实验和结果分析
• 3.6 本章小结
• 4 进化存储系统中的逻辑进化
• 4.1 引言
• 4.2 相关工作
• 4.3 进化存储系统SUBRAID 之间的数据迁移
• 4.4 进化存储系统SUBRAID 内部的数据迁移
• 4.5 仿真实验和结果分析
• 4.6 本章小结
• 5 进化存储系统中的物理进化
• 5.1 引言
• 5.2 相关工作
• 5.3 进化存储系统物理进化
• 5.4 仿真实验和结果分析
• 5.5 本章小结
• 6 全文总结
• 6.1 本文取得的主要研究成果
• 6.2 进一步的研究工作思考
• 致谢
• 参考文献
• 附录 攻读博士学位期间发表论文目录