论文题目: 共享对象存储并行文件系统的元数据管理研究
论文类型: 硕士论文
论文专业: 计算机体系结构
作者: 孙丽丽
导师: 孙育宁
关键词: 对象存储,并行文件系统,元数据,懒惰更新,事务日志
文献来源: 中国科学院研究生院(计算技术研究所)
发表年度: 2005
论文摘要: 当前的高性能计算已经由传统的主机方式逐渐向机群方式演变。机群体系结构的采用一方面使得系统的计算能力大大加强,另一方面也对当前的存储系统提出了更高的要求:在保证数据共享和易管理性的前提下,要求存储系统在存储容量和I/O性能方面具有很好的可扩展性。传统的基于主机的存储架构已经远远不能满足这些要求,研究新的存储体系结构和相应的文件系统具有十分积极的意义。本文基于对象存储系统,提出一种新的共享对象存储设备的并行文件系统(命名为SOPFS)设计,其目标是为高性能计算机群提供高性能、可扩展、高可用的机群存储系统。在文中给出了SOPFS的总体描述,内容包括分布元数据管理、并行数据访问等关键技术;结合SOPFS中动态散列分区的元数据组织方法,设计实现了元数据的访问管理;针对高性能并行计算中经常出现的对同一文件/目录的高并发访问情形,提出了一种动态的元数据复制策略,通过多个存放元数据副本的MDS同时响应对同一文件元数据的并发访问请求,提高了高并发访问情形下的元数据访问效率;利用SOPFS的结构优势,即文件系统的数据通路与控制通路分离,提出了懒惰的元数据更新策略,使得文件元数据的更新独立于文件数据读写过程,进一步保证了高的I/O吞吐率;在SOPFS中设计实现了元数据的事务日志机制,以提高系统的可用性和提供系统的快速失败恢复能力。
论文目录:
声 明
论文版权使用授权书
摘要
Abstract:
图目录
表目录
第一章 引言
1.1 高性能机群对机群存储系统的需求
1.2 分布式/并行文件系统
1.3 当前用于机群环境的典型分布式/并行文件系统介绍
1.3.1 NFS
1.3.2 xFS
1.3.3 PVFS
1.3.4 GPFS
1.4 课题背景和意义
1.5 本文的主要研究内容与内容组织
1.5.1 研究内容
1.5.2 本文的内容组织
第二章 对象存储系统
2.1 存储体系结构的发展
2.1.1 DAS
2.1.2 NAS
2.1.3 SAN
2.1.4 NAS 和SAN 融合的趋势
2.2 对象存储系统
2.2.1 概念
2.2.2 对象存储系统的实现
2.2.3 对象存储系统的优势
2.3 对象存储文件系统研究现状
2.3.1 Lustre
2.3.2 ActiveScale
第三章 共享对象存储并行文件系统SOPFS
3.1 SOPFS 架构描述
3.1.1 数据分布
3.1.2 元数据分布
3.1.3 数据存储
3.2 SOPFS 的组成
3.2.1 对象
3.2.2 对象存储设备
3.2.3 元数据服务器机群
3.2.4 客户端
3.2.5 高速互联网络
3.3 SOPFS 的关键技术
3.3.1 分布的元数据管理
3.3.2 并行数据访问
3.3.3 可扩展性
3.3.4 高可用性
第四章 SOPFS 中的元数据管理
4.1 问题描述与分析
4.2 SOPFS 中的元数据描述
4.3 元数据布局
4.4 元数据访问管理
4.4.1 普通访问模式
4.4.2 高并发访问模式
4.4.3 元数据更新
4.5 小结
第五章 元数据的事务日志机制
5.1 问题提出
5.2 问题相关研究
5.2.1 日志文件系统
5.2.2 软更新技术
5.2.3 日志结构的文件系统
5.2.4 其它硬件解决办法
5.2.5 比较与选择
5.3 SOPFS 中元数据的事务日志机制
5.3.1 设计中的考虑
5.3.2 SOPFS 的事务日志模型
5.3.3 日志管理
5.3.4 事务日志异步提交
5.3.5 基于事务日志的失败恢复过程
5.4 小结
第六章 结束语
6.1 本文工作总结
6.2 对进一步研究工作的建议
参考文献
致谢
作者简历
发布时间: 2006-12-26
参考文献
- [1].基于集群文件系统的元数据容错研究[D]. 秦航.华中科技大学2004
- [2].复印机内容分析系统的研究与实现[D]. 胡思琦.北京邮电大学2018
- [3].目录文件系统的日志与事务的设计与实现[D]. 平伟.电子科技大学2016
- [4].注册表文件系统的设计与实现[D]. 毕宇.电子科技大学2014
- [5].并行文件系统健壮性测试的研究与应用[D]. 刘英平.昆明理工大学2014
- [6].某咨询公司文件系统的设计与实现[D]. 刘智.电子科技大学2013
- [7].对象控制器中对象文件系统的实现与优化[D]. 吕满.华中科技大学2008
- [8].嵌入式存储设备上文件系统的设计与实现[D]. 于鹏飞.大连交通大学2008
- [9].可堆叠安全文件系统的存储优化的分析与研究[D]. 谢俊.上海交通大学2008
- [10].网络化制造中多功能信息交互装置文件系统的研究[D]. 李杰.重庆大学2007
相关论文
- [1].对象存储系统的元数据管理[D]. 张顺达.华中科技大学2006
- [2].NAS集群文件系统元数据管理的设计与实现[D]. 封仲淹.华中科技大学2006
- [3].对象存储文件系统的设计与实现[D]. 龚玮.华中科技大学2006
- [4].基于对象存储设备的文件系统及安全机制的研究[D]. 鲁春怀.华中科技大学2006
- [5].分布式文件系统中对象存储目标镜像的设计与实现[D]. 吴晨涛.华中科技大学2006
- [6].电子政务元数据管理系统的研究与设计[D]. 应英.西北工业大学2007
- [7].数据集成方案中的元数据管理系统研究[D]. 章水鑫.东南大学2005
- [8].并行文件系统元数据管理研究[D]. 何飞跃.华中科技大学2004
- [9].面向海量数据的元数据管理和复制算法研究[D]. 秦永进.国防科学技术大学2004
- [10].对象存储文件系统中元数据管理集群关键技术研究与实现[D]. 邵强.国防科学技术大学2005