自调度集群网络服务的研究与实现

论文摘要

因特网近二十年来的迅猛发展,正在深刻影响着人类生活的各个方面。网络服务是因特网应用的主要形式。随着用户规模的急剧扩大、应用类型的日益复杂和应用模式的逐步成熟,网络服务正面临着前所未有的压力和挑战。为提供可持续增长的处理性能和24×7的高可用性,人们在建立高性能、高可伸缩、高可用的集群网络服务方面,进行了大量的研究和实践,初步满足了大规模网络服务在这方面的基本性能需求。但是,随着电子政务、电子商务等关键业务在因特网上的逐步普及,网络服务的营运理念也逐步成熟,对网络服务的建设和维护提出了更多挑战性的问题,包括:服务质量控制、充分挖掘系统资源潜力、提高服务费效比,等等。而服务质量的控制又是其中的核心问题,目前还没有很好的解决方案。本文研究和实现的自调度集群网络服务便是围绕这一任务展开的。在分析网络应用需求的发展和现有集群网络服务体系结构的基础上,我们指出,以负载均衡为指导思想的集群网络服务体系结构已不能很好的满足网络应用在服务质量控制特别是量化控制方面的需求,新的集群网络服务的基本结构应当围绕服务质量的量化控制进行设计,而现代控制的理论和技术为此提供了重要的指导和工具。结合反馈控制系统的基本组成原理,我们提出了自调度集群网络服务体系结构及其调度机制。系统中的各个组成部分对应于反馈控制系统中的基本组成部件;集群请求调度机制对应着服务质量的反馈控制过程。为解决传统集群结构集中控制带来的扩展性等问题,我们提出以分布式的控制方式,将控制机构分解到集群当中各个结点,由后端执行服务器独立执行本地控制决策功能,以“分而治之”的策略满足复杂控制机制在性能、可用性、灵活性等诸方面的需求,即“自调度”。系统模型的分析表明,分布式的调度方式在性能上优于传统的集中调度方式。服务质量控制需要进行用户请求分类基础上的七层调度,这通常要消耗较多的系统资源。为了提高系统的可扩展性和可用性,我们提出了多入口自调度集群结构和相应的全分布式的控制调度机制。在此基础上,提出了大规模自调度集群网络服务体系结构,解决了自调度集群在可扩展性和可用性方面的问题。服务质量量化控制子系统的设计是自调度集群的核心问题。由于网络应用的复杂性,集群网络服务的QoS量化控制,特别是大规模异构集群的量化QoS控制是挑战性的问题。一个实用性强的量化QoS控制方案不仅需要较好的有效性和适应性强的系统化设计,也应该对实际应用友好,具有较强的兼容性,易于部署和使用。传统的基于经验设计、基于系统解析模型设计、基于PID控制器设计等方法已不能满足上述的应用需求。为此,我们尝试着将现代智能控制的方法引入到集群QoS量化控制器的设计当中来。基于智能控制中较为成熟的模糊控制理论,我们针对四种典型的QoS量化控制目标,设计和实现了四种模糊控制器,以分别实现对平均响应时间、数据吞吐率、平均响应时间比例、数据吞吐率比例的量化控制。测试表明,上述模糊控制器具有较好的控制效果,在响应速度、收敛性及稳定性方面具有较好的表现。针对上述模糊控制器在稳态控制精度、适应性等方面的不足,我们将神经网络的自适应方法引入到QoS量化控制器的设计当中。通过结合BP神经网络与传统PID控制方法,我们设计了基于BP网络的自适应PID控制器。通过BP网络的学习功能,在线调整PID控制参数,以适应运行环境和受控系统的动态变化。仿真结果证实了BP-PID控制器的优良性能。基于上述BP-PID自适应控制器,我们也设计和实现了四种典型的QoS量化控制器。测试表明,这类控制器具有更好的稳态性能和适应性。针对BP-PID控制器在响应过渡阶段的稳健性不如模糊控制器的问题,我们将神经网络与模糊系统结合起来,设计了神经-模糊控制器,通过神经网络的反馈学习机制,在线调整模糊控制系统的隶属度函数、输出参数等系统参数,以适应环境和受控系统的动态变化。仿真结果表明,神经-模糊控制器较单纯的BP网络具有更好的逼近能力。基于上述神经-模糊控制器,我们同样设计和实现了四种典型的QoS量化控制器。测试表明,这类控制器进一步提高了响应过渡阶段的稳健性,与前述模糊控制器和BP-PID控制器比较,在控制系统的稳态性能、动态性能两方面都取得了更好的效果。综合上述研究成果,我们设计和实现了一套完整的自调度集群系统,包括:分布式的系统框架,具有分布式的QoS控制机制,支持多个集群入口,具有很高的可扩展性和可用性;基于Linux内核设计和实现的高性能、高可扩展应用层网关,支持HTTP、邮件等多种应用协议,支持新协议模块的开发与加入;四类基本控制器类型:基本PID控制器及其变种、模糊控制器、BP-PID控制器、神经-模糊控制器;基于上述基本控制器类型的四类共16种典型QoS量化控制器,以分别实现对平均响应时间、数据吞吐率、平均响应时间比例、数据吞吐率比例的量化控制;高可扩展的QoS量化控制框架,支持各种类型QoS量化控制器的设计和应用,提供了对多种操作系统的支持（Windows系列、类Unix系列）;相关自调度系统管理软件,提供了Web、终端、命令行等丰富的管理界面。多项测试均表明了该系统的有效性和实用性。自调度集群系统项目的核心技术已获国家发明专利,相关系统已经完成了产品化开发,目前已经在金山公司等多家单位投入使用。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 主要研究的问题
• 1.3 研究工作的主要贡献
• 1.4 本文的结构
• 第二章 网络服务的服务质量控制
• 2.1 网络应用的需求
• 2.2 服务质量控制与负载均衡
• 2.3 常见的服务质量控制模式
• 2.4 网络应用服务质量控制研究现状
• 2.4.1 研究现状
• 2.4.2 现有方案的不足
• 2.5 本章小结
• 第三章 自调度集群网络服务体系结构
• 3.1 传统集群网络服务体系结构的问题
• 3.2 自调度集群的基本结构及调度机制
• 3.2.1 基于应用内容的调度
• 3.2.2 自调度集群的调度机制
• 3.3 自调度集群与传统集群调度机制的性能分析与比较
• 3.4 自调度集群高可伸缩、高可用机制
• 3.4.1 高可伸缩性框架
• 3.4.2 高可用性框架
• 3.4.3 QoS 量化控制通讯开销
• 3.5 大规模自调度集群系统
• 3.5.1 与动态DNS 解析相结合的大规模自调度集群
• 3.5.2 与三层负载均衡器相结合的大规模自调度集群
• 3.6 本章小结
• 第四章 自调度集群中基于模糊控制理论的QoS量化控制
• 4.1 模糊控制理论的原理和方法
• 4.2 基于模糊控制的QoS 量化控制器
• 4.2.1 平均响应时间定量控制器
• 4.2.2 数据吞吐率定量控制器
• 4.2.3 平均响应时间比例控制器
• 4.2.4 数据吞吐率比例控制器
• 4.3 本章小结
• 第五章 自调度集群中基于人工神经网络的自适应QoS量化控制
• 5.1 人工神经网络简介
• 5.2 基于BP 神经网络的自适应PID QoS 量化控制器
• 5.2.1 PID 控制
• 5.2.2 BP-PID 自适应控制器
• 5.2.3 平均响应时间定量控制器
• 5.2.4 数据吞吐率定量控制器
• 5.2.5 平均响应时间比例控制器
• 5.2.6 数据吞吐率比例控制器
• 5.3 神经-模糊自适应QoS 量化控制器
• 5.3.1 神经-模糊自适应控制器
• 5.3.2 平均响应时间定量控制器
• 5.3.3 数据吞吐率定量控制器
• 5.3.4 平均响应时间比例控制器
• 5.3.5 数据吞吐率比例控制器
• 5.4 本章小结
• 第六章 自调度集群服务系统的实现与测试
• 6.1 高性能应用层网关
• 6.1.1 系统结构概述
• 6.1.2 多线程事件驱动框架
• 6.1.3 应用协议状态机
• 6.1.4 性能测试
• 6.2 可扩展QoS 控制框架
• 6.2.1 系统结构概述
• 6.2.2 可扩展QoS 控制器设计
• 6.2.3 最大并发请求数控制器
• 6.2.4 性能测试
• 6.3 系统的相关成果与实际应用
• 6.4 本章小结
• 结束语
• 1.工作总结
• 2.研究展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果