G/S模式下分布式文件系统中数据调度的应用研究

论文摘要

20世纪90年代以来,由于计算机技术、网络技术、空间技术、通信技术的发展以及前所未有的推广普及,使得信息服务业迅猛崛起,并成为21世纪最具潜力的产业。信息产业在整个国民经济中的作用愈来愈重要,而且这种趋势还在继续。据统计,在与人类生活息息相关的所有信息中,与位置有关的信息大约占80 %,由此可见,空间信息服务在整个信息服务业中占有非常重要的地位。空间信息的特殊性决定了空间信息服务的特殊性,而空间信息服务的这些特性限制了空间信息服务的发展,而且一般的信息服务模式和技术体系架构无法满足空间信息服务的需要。近年来,随着国家或区域性空间数据库建设的基本完成,一方面,海量的空间数据寻求应用出口;另一方面,大量的民用工程急需有效的空间数据。解决问题的关键是服务模式,因此,研究空间信息服务的规律,探索新的空间信息服务模式和技术对满足日趋增长的空间信息服务应用需求具有重要的、富有实效的意义。空间信息服务领域的延伸和深层次应用,使得空间信息网络服务正朝着高效率、低成本、普适简单化、透明化、实时化和智能化等主要方向持续发展,空间信息服务的新特点以及日趋增长的应用需求和现有的空间信息服务模式之间的矛盾不断加剧。网格计算、云计算等新一代分布式计算理念的提出和应用为解决这一矛盾提供了新的突破点。在空间信息网络服务中,当由服务器端聚合服务时,由于网络带宽和服务数据量的庞大会产生网络访问瓶颈,且当用户数量和访问并发数增大到一定程度时,服务器聚合服务的效率会下降。空间信息网络服务的大众化应用需要随时、随地、无障碍的传递所需服务。空间信息服务的复杂性、空间信息分布异构性以及用户需求的多样性、个性化使得空间信息网络服务模式应该具备普适化和协同化的特征。所谓普适特性,是指用于空间信息的存储、更新、传输和调度的计算环境能够普遍适应于复杂的软硬件环境和多变的任务需求;而协同特性则是指在用户使用环境中为空间信息服务的聚合建立一个分布协作的执行体系。针对上述C/S和B/S计算模式在空间信息网络服务应用中的不足,在对现有空间信息网络服务模式及其应用进行研究的基础上,通过分析空间信息服务的信息流程特点和结构,将网格计算和云计算中的“聚合”理念与空间信息网络服务模式相结合,提出一种空间信息网络服务模式—地学浏览器/分布式空间数据服务器群（G/S）模式。G/S模式的实质就是针对空间信息网络服务领域的海量、多源、多分辨率、多时相空间信息的大众化应用以及市场要求,采用基于XML的超地理标记语言HGML对分布在网络上各种格式的空间数据进行统一描述和可视化表达,以增强了地学特征的浏览器—地学浏览器作为客户端,以通过HGML组织、管理空间数据的分布式空间数据服务器群作为服务器端,通过“请求-聚合-服务”的客户端聚合服务工作机制在客户端动态聚合服务,从而实现空间信息网络服务。本论文选题来源于导师的相关项目,以G/S模式、分布式集群技术和分布式文件系统技术为基础,以解决G/S模式空间数据分布式服务器群的应用需求为目标,分析了G/S模式空间数据分布式服务器群在提供空间数据服务中遇到的诸多问题的基础上,本论文的成果如下:1.提出了一种改进的动态文件分配平衡算法。基于原有的动态文件分配平衡算法中添加两个服务器文件系统的阈值,分别为转移源服务器文件系统阈值和目的服务器文件系统阈值。考察每个服务器上文件系统的负载,并与此两个阈值比较,目的是为服务器文件系统中的阈值设置一个统一的标准,提高算法的准确性。2.提出了一种分布式文件系统的数据调度算法。此数据调度算法是基于动态文件分配平衡算法,在修改源代码的Hadoop平台上实现了对HGML的支持,提高数据访问调度的实时性、及时性和准确性。使其符合G/S模式的应用需求。

论文目录

• 摘要
• ABSTRACT
• 第1章 引言
• 1.1 选题目的及意义
• 1.2 国内外研究现状
• 1.3 本文研究主要内容和主要成果
• 1.4 文章总体结构
• 第2章 G/S 模式概述
• 2.1 G/S 模式简介
• 2.2 G/S 模式的特点
• 2.2.1 客户端聚合服务工作机制
• 2.2.2 分布式空间数据建模及可视化表达
• 2.2.3 空间信息普适化协同机制研究
• 2.3 本章小结
• 第3章 分布式文件系统研究
• 3.1 分布式文件系统简介
• 3.2 GOOGLE 文件系统
• 3.3 HADOOP 文件系统
• 3.4 G/S 模式下GOOGLE 文件系统和HADOOP 文件系统对比
• 3.5 本章小结
• 第4章 分布式文件系统中数据调度算法研究
• 4.1 G/S 模式下分布式文件系统对数据调度的需求
• 4.2 分布式文件系统数据调度算法
• 4.2.1 轮询调度算法
• 4.2.2 权重轮询调度算法
• 4.2.3 基于局部性的最小链接调度算法
• 4.2.4 带复制的基于局部性最少链接调度算法
• 4.2.5 目标地址散列调度算法
• 4.3 动态文件分配平衡算法
• 4.4 本章小结
• 第5章 G/S 模式下分布式文件系统数据调度算法应用
• 5.1 应用需求
• 5.2 主要工作
• 5.3 HADOOP 平台的搭建和HADOOP 源代码修改
• 5.3.1 安装和设置 HADOOP 平台
• 5.3.2 SSH 设置
• 5.3.3 JAVA 运行开发环境配置
• 5.3.4 修改HADOOP 源代码
• 5.3.5 部署 DATANODE 节点
• 5.3.6 HDFS 测试
• 5.3.7 WINDOWS 节点和LINUX 节点的部署
• 5.4 算法实现
• 5.4.1 算法的选择
• 5.4.2 改进动态文件分配平衡数据调度算法
• 5.4.3 实现原理
• 5.4.4 性能测试
• 5.4.5 调度算法对实现分布式文件调度的对比分析
• 5.5 本章小结
• 结论
• 致谢
• 参考文献
• 攻读学位期间取得学术成果