分布式系统性能测试与分析方法研究

论文摘要

分布式系统技术是在现代计算机领域中被广泛应用的技术之一,自从上世纪70年代诞生以来经过了多次的技术革新,最终伴随着计算机网络的发展一跃成为了构建现代计算机世界的重要力量。如何设计出一套高性能的分布式系统,如何通过调整系统配置优化分布式系统,这些都是当前分布式系统中的热点课题,也进一步的加速了对于分布式系统性能探究的需求。但是由于分布式系统固有的结构复杂性,使得通过对它们进行性能测试来辅助优化系统设计显得困难重重,这其中尤以缺少一个可以适应分布式系统多样的性能测试和轻量级运行需求的测试工具为甚。通过引入集成框架工具的思想可以满足上述的两点需求。目前在ExPerT工具、CBench工具和The Phoronix Suite工具中都使用到了类似的思想,它们通过使用系统中已经安装的子测试工具完成测试任务,避免了对属性测试模块的重复实现；并引入统一的数据分析器,对数据提供清晰一致的分析。笔者通过研究分布式系统的基本概念,一方面加深了对被测试对象的认知和对性能测试需求的理解；另一方面为构建具有分布式运行特征的测试工具打下理论基础。于此同时,通过研究系统性能测试理论和典型的集成框架工具,探索集成框架系统测试工具的特征和设计方式,为最终开发出具有正确性、功能性和可用性的基于集成框架的分布式系统性能测试工具奠定经验基础。最终笔者所在实验室设计开发出了针对中小型分布式系统的系统性能测试和分析工具——PTADS工具。它通过引入可扩展开发思想和松耦合的分布式运行思想,分别解决了工具的功能性扩展和控制系统规模难题。工具中涉及到的具有可扩展开发思想的具体实现有：工具分布式扩展、扩展新的子工具、扩展新的图形分析方式和可扩展开发的代码框架。另外,工具中所使用的Master-Slave分布式运行模式具有松耦合的特征,这一特征使得工具可以以较小的代码量满足分布式运行的需求。最后,笔者分别在使用Xen和Kvm虚拟机构建的分布式系统上完成对宿主和虚拟机节点的核心性能测试,用实验现象验证两种工具设计方式的特征和区别,同时证明了PTADS工具具有的正确性、功能性和可用性特征。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 本文主要研究内容
• 1.4 本文组织结构
• 2 分布式系统的性能测试
• 2.1 分布式系统
• 2.1.1 分布式系统简述
• 2.1.2 典型的分布式系统应用
• 2.1.3 分布式系统模型
• 2.2 系统性能测试
• 2.2.1 系统性能测试简述
• 2.2.2 系统性能测试的方法
• 2.3 分布式系统的性能测试
• 2.3.1 分布式系统性能测试的特点
• 2.3.2 分布式系统性能测试的策略
• 3 分布式系统性能测试和分析工具的设计
• 3.1 工具的运行框架设计
• 3.1.1 任务解析器
• 3.1.2 运行时任务管理器（Master-Slave模式）
• 3.1.3 结果分析器（Writer-Pen-Ink模式）
• 3.2 工具的扩展性设计
• 3.2.1 工具扩展性简述
• 3.2.2 工具扩展性设计
• 3.3 测试功能的扩展设计
• 3.3.1 测试功能扩展难题
• 3.3.2 子工具扩展脚本模式
• 4 分布式系统性能测试和分析工具的实现
• 4.1 工具的功能和限制
• 4.1.1 工具实现的说明
• 4.1.2 工具的测试功能
• 4.2 工具的使用方法
• 4.2.1 工具的安装与配置
• 4.2.2 使用工具完成性能测试
• 4.2.3 使用工具完成测试数据分析
• 4.3 工具的扩展方法
• 4.3.1 扩展方法简述
• 4.3.2 编写扩展脚本
• 4.3.3 注册子工具
• 5 使用工具进行实验
• 5.1 实验设计
• 5.1.1 实验简述
• 5.1.2 实验平台
• 5.2 实验结果与分析
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢