基于服务器虚拟化的网络GIS集群关键技术研究

论文摘要

地理信息系统(GIS)与互联网的结合,拓展了GIS的新领域和新途径,极大的促进了地理空间信息的应用推广,让跨地区和跨行业的空间信息共享更加方便,也使基于地理信息的大众化应用得以快速发展。计算机硬件性能的快速提高,软件领域新构架新算法的推出,以及GIS学科的不断进步,都推动了网络GIS的快速发展。网络GIS应用的不断深入,带来了一些新的问题和挑战,表现有：互联网巨大的用户量和GIS海量数据给网络GIS应用带来很大的性能压力；软件落后于硬件发展的现状,使得新硬件对网络GIS系统性能提升作用受限；传统的网络GIS软件和开发模型不足以满足GIS应用快速开发的需求。网络GIS集群继承了计算机集群的特点,保证了服务和应用的稳定,极大的缓解了服务端压力,同时方便扩展。负载均衡策略和算法是集群的一项关键技术,算法的改进对提升集群性能和稳定性意义重大,也是各研究领域包括网络GIS的研究热点。服务器虚拟化技术提供了建设集群的新方法,利用它可以很便利的使用各类服务器和PC来构建虚拟集群,已经有不少学者和GIS厂商的研究人员提出了构建虚拟化网络GIS集群的方法和模型,各自有其特色和不足。本文结合国家科技支撑计划项目“地理空间信息工具集网络服务平台研发”,主要围绕基于服务器虚拟化的网络GIS集群的应用模型和关键技术的实现方法,重点研究网络GIS集群模型的构建方法、虚拟资源的分配技术、负载均衡调度策略和算法、服务与接口模型等一系列关键问题。在此基础上设计结构合理的网络GIS集群模型,解决集群中虚拟资源的动态分配问题,实现符合GIS应用特点的负载均衡算法,设计简明实用的网络GIS服务与接口模型。本文具体的研究工作如下：(1)研究分析了服务器虚拟化技术、网络GIS以及集群技术的研究现状和发展趋势,指出虚拟化和集群在提高硬件资源利用率、系统性能和可用性等方面具有独特的优势,是提高网络GIS集群可靠性和性能的有效技术手段。同时虚拟化和集群发展中存在着一些问题和难点,例如性能损耗、负载调度等,都成为GIS集群优化工作所要研究和解决的问题。(2)研究了虚拟化网络GIS集群结构模型。在研究服务器虚拟化的特点和实现的技术层次基础上,指出虚拟化技术是提高服务器硬件尤其是处理器利用率的有效手段,在基于多核处理器的微小型服务器迅速发展的当前,构建于廉价服务器之上的集群系统能够处理时空复杂度高的计算密集型问题,并可应用于GIS领域。以国内外主流GIS平台提供商的集群结构为研究目标做了分析和对比,结合服务器虚拟化技术,提出了一种网络GIS集群结构模型,该模型采用处理器核心、操作系统、GIS服务实例数量之间的1：1：1映射关系建立集群,并用实验测试的方法将其与单物理服务器多GIS服务实例的方案进行对比。(3)研究了虚拟化网络GIS集群资源分配技术。分析了虚拟机资源分配的一般方法和虚拟机放置策略,提出了一种基于集群负载预测的资源动态分配技术。对集群的中长期历史负载进行了时间序列建模,并以一组气象数据为实验对象进行了预测建模实验,在负载预测的基础上设计了虚拟机放置时机决策的策略和算法,以及基于最少优先策略的虚拟机放置目标选择算法,并描述了上述算法流程和伪代码。设计了基于分配算法的实验场景并在气象应用上进行测试,对分配技术进行验证。(4)研究了虚拟化网络GIS集群负载均衡算法。首先研究了遗传算法特点,以及它在负载均衡调度上的应用情况,表明它对网络GIS负载均衡调度同样具备适应性和和鲁棒性。根据GIS运算和应用的特殊性和复杂性,建立了基于任务优先级和执行时间的GIS任务模型,作为遗传算法基因编码依据,设计了用于负载均衡的遗传算法,包括适应度函数、遗传算子以及控制参数,并形成了算法流程。最后将算法插入网络GIS集群负载均衡模块进行了实验测试。(5)研究了虚拟化网络GIS集群服务与接口模型。在研究空间数据共享问题和面向服务构架的问题基础上,针对SOA结构厚重,数据模型复杂的不足,提出了基于ROA的轻量级GIS集群服务与接口模型,以及基于RIA的跨浏览器的客户端模型,降低了接口模型复杂度,方便用户使用。(6)研究了虚拟化网络GIS集群服务原型系统。设计并建立了基于服务器虚拟化技术的网络GIS集群原型框架,从具体技术实现的角度进行了原型的分析与描述。以气象行业某应用为研究和实验对象,将虚拟化网络GIS集群原型付诸实践,并进行性能测试,验证集群原型的可行性和合理性。

论文目录

• 作者简介
• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• §1.1 研究背景和意义
• §1.2 服务器虚拟化技术相关研究
• 1.2.1 虚拟化概述
• 1.2.2 服务器虚拟化研究现状
• 1.2.3 服务器虚拟化存在的问题
• §1.3 网络GIS相关研究
• 1.3.1 网络GIS概述
• 1.3.2 网络GIS实现技术和体系结构
• 1.3.3 网络GIS发展现状和趋势
• §1.4 集群相关研究
• 1.4.1 集群技术概述
• 1.4.2 服务器集群研究现状
• §1.5 本文工作
• 1.5.1 研究目标
• 1.5.2 研究的主要贡献和创新点
• 1.5.3 本文组织结构
• 第二章 虚拟化网络GIS集群结构模型
• §2.1 概述
• 2.1.1 通用网络GIS集群体系结构
• 2.1.2 通用网络GIS集群控制结构
• 2.1.3 网络GIS集群与多核处理器
• §2.2 网络GIS虚拟化集群模型设计
• 2.2.1 设计目标和原则分析
• 2.2.2 软硬件匹配设计
• 2.2.3 集群体系结构设计
• 2.2.4 集群逻辑结构设计
• §2.3 实验测试
• 2.3.1 实验场景设计
• 2.3.2 实验结果与分析
• §2.4 本章小结
• 第三章 虚拟化网络GIS集群资源分配技术
• §3.1 概述
• 3.1.1 虚拟资源分配方法
• 3.1.2 虚拟机放置策略
• 3.1.3 负载预测
• §3.2 负载时间序列建模
• 3.2.1 数据采集和预处理
• 3.2.2 序列平稳化处理
• 3.2.3 模型识别和定阶
• 3.2.4 负载预测
• 3.2.5 预测值的聚类分析
• §3.3 基于预测的虚拟资源分配技术
• 3.3.1 技术实现思想
• 3.3.2 分配管理框架
• 3.3.3 分配流程
• 3.3.4 分配算法
• §3.4 实验测试
• 3.4.1 实验场景
• 3.4.2 测试结果与分析
• §3.5 本章小结
• 第四章 虚拟化网络GIS集群负载调度机制
• §4.1 概述
• 4.1.1 负载均衡调度常用方法
• 4.1.2 面向网络GIS的负载均衡研究进展
• 4.1.3 负载均衡评价指标
• 4.1.4 遗传算法特点
• 4.1.5 遗传算法研究现状
• 4.1.6 遗传算法在负载均衡中的应用
• §4.2 集群负载调度模型
• 4.2.1 需求描述
• 4.2.2 负载均衡策略
• §4.3 基于遗传算法的负载均衡调度设计
• 4.3.1 优化目标
• 4.3.2 编码机制
• 4.3.3 算法步骤
• 4.3.4 种群初始化
• 4.3.5 适应度函数
• 4.3.6 遗传算子
• §4.4 实验测试
• §4.5 本章小结
• 第五章 虚拟化网络GIS集群服务与接口模型
• §5.1 空间数据共享
• 5.1.1 共享方法
• 5.1.2 关键技术
• 5.1.3 发展现状
• §5.2 基于SOA的网络GIS服务模型
• 5.2.1 面向服务架构
• 5.2.2 研究现状
• 5.2.3 服务模型
• §5.3 基于ROA的网络GIS服务接口模型
• 5.3.1 面向资源构架
• 5.3.2 接口模型
• §5.4 基于RIA的网络GIS客户端模型
• 5.4.1 RIA技术在网络GIS的应用
• 5.4.2 网络GIS客户端模型
• §5.5 本章小结
• 第六章 虚拟化网络GIS集群原型系统及应用
• §6.1 概述
• §6.2 虚拟化网络GIS集群原型系统
• §6.3 新一代天气雷达信息共享平台GIS子系统及其应用
• 6.3.1 系统总体架构
• 6.3.2 应用部署情况
• 6.3.3 应用主要成果
• 6.3.4 系统性能测试
• §6.4 本章小结
• 第七章 结束语
• §7.1 论文工作总结
• §7.2 论文创新点
• §7.3 研究展望
• 致谢
• 参考文献
• 附件