基于负载均衡的存储架构研究与应用

论文摘要

社会信息化程度的急速发展,使得数据正成几何级的数量爆炸性的产生,从而对存储提出的更高、更多的要求。虽然现在磁盘存储容量在不断的增加,但面对爆炸性的数据增长,本地磁盘的存储方案已经体现出了的局限性。随着云计算概念的提出,存储即服务（Storage as a Service）的SaaS模型和云存储的概念也得到了广泛的发展和应用。以硬件冗余、自动故障切换、海量并行扩容、负载均衡及易于管理为标志的云存储的到来使得大规模的廉价的存储成为了可能。云存储中核心的技术便是虚拟化技术,包括有设备虚拟化、服务虚拟化等。存储的虚拟化是实现云存储的关键步骤。本文在借鉴成熟的存储架构（如DAS、NAS、SAN、OBS等）的基础上,通过实践找到一种适合云计算形态的存储形式,并将这种存储体系在云的状态下进行部署应用。现行主流的存储架构都有着各自的优缺点,某些架构是在特定的应用环境下发展建立起来的。例如DAS （Direct-Attached Storage）采用电缆直接到服务器的,I/O请求直接发送到存储设备,但其在备份、恢复、扩展、灾备等方面存在着突出的问题；SAN（Storage Area Network）技术是一种利用FC （Fiber Channel）等互连协议连接起来的,传输效率很高,但实施成本非常高。NAS（Network-Attached Storage）以文件作为基础,建立专用于数据存储的存储私网,NAS主要将目光集中于应用、用户、文件及其共享上。与主流的存储架构相比,基于虚拟存储的云存储会具有明显的优越性：虚拟存储提供了一种大容量存储系统集中管理的手段,采用统一的环节对整个虚拟存储网络中的节点进行管理,避免了设备扩充等带了的管理麻烦,在虚拟存储中,扩容仅仅是管理员对新加设备的节点挂接,对整个系统的运行没有影响；虚拟存储大大提高了存储系统的整体访问带宽,存储系统是有多个的存储模块构成,而虚拟存储良好的负载均衡能力会使得数据的写入与访问更加平衡,性能大幅的提高；虚拟存储使得存储资源的管理更加灵活,不论是在副本管理还是元数据管理方面,虚拟存储都提供了良好的支持。本文通过建立三级虚拟化层次以组织一个自物理层至用户层的虚拟存储空间。借鉴引入成熟架构中的关键技术,并整合利用了一些开源项目组贡献的相关中间件,建立起本文中描述的通用虚拟存储体系。该虚拟存储架构在设计之初特别注重了存储体系对用户的透明性,对终端用户而言,存储空间在理论上是无限的,数据在云端是安全且易用使用的。本文致力于在普通商用网络上建立大规模分布式的安全存储网络。通过加入了规则的概念实现了虚拟存储系统的灵活控制和管理,并在实现过程中根据实际需求加入了在文件读取两方面的负载均衡控制。另一方面,随着软件即服务的SaaS应用模式已经被广泛的接受和应用。这种按需定制、多租户、灵活可配置的模式为用户提供了极大的方便。在云计算成为大势所趋的背景之下,SaaS甚者PaaS的应用模式的应用必然会愈发普遍。本文在提出虚拟存储架构的基础上,同时从虚拟存储的SaaS应用模式角度进行了研究和阐述。我们利用项目组在柔性按需配置的PaaS平台研究中的相关工作设计实现了相关的原型系统在实际应用中进行了实践。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1. 研究背景
• 1.1.1. 应用背景概述
• 1.1.2. 云存储概述
• 1.1.3. 虚拟存储概述
• 1.2. 相关研究
• 1.2.1. 传统存储体系研究
• 1.2.2. 负载均衡技术研究
• 1.2.3. 虚拟存储架构研究
• 1.3. 本文研究工作及组织结构
• 第二章 基于负载均衡的虚拟存储架构
• 2.1. 基于规则的虚拟存储体系
• 2.1.1. 体系架构
• 2.1.2. 规则介绍
• 2.1.3. ROP—面向规则编程
• 2.2. 负载均衡的存储架构
• 2.2.1. 应用环境
• 2.2.2. 负载均衡模块设计
• 第三章 基于SaaS模式的虚拟存储应用模式
• 3.1. SaaS模式的软件应用模型
• 3.1.1. SaaS概念介绍
• 3.1.2. SaaS应用平台架构
• 3.2. 服务化存储应用
• 3.2.1. SaaS模式的存储应用
• 3.3. 虚拟存储对服务化应用支撑
• 第四章 虚拟存储原型系统的设计与实现
• 4.1. 整体框架
• 4.2. 基础支撑环境
• 4.2.1. iRODS
• 4.2.2. Portal
• 4.3. 相关实现技术
• 4.3.1. WebService
• 4.3.2. XML
• 4.4. 服务接口及应用模式
• 第五章 总结和展望
• 5.1. 本文工作总结
• 5.2. 未来工作展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录
• 攻读学位期间参加的科研项目
• 学位论文评阅及答辩情况表