网格元调度系统的研究和CSF4元调度器的设计与实现

论文摘要

网格计算技术的目的是在分布、异构、自治的网络环境中实现资源共享与协同工作,当前,网格计算技术已经在生物信息、高性能物理、地质等科研领域得到应用。将网格资源有效地组织起来,分配给任务并使之高效地完成,是网格资源共享需要解决的核心问题,即网格元调度。根据网格资源和任务的特点,设计出高效率、适应性强、扩展性好的网格元调度系统,具有重要意义。本文以网格元调度系统为研究目标,主要讨论了以下几方面的内容:1.从资源管理和任务调度的角度对现有的主要网格元调度系统进行了研究。研究内容包括资源管理协议、调度模式、可扩展性、工作流支持等,并对各个系统的优缺点进行了评价和比较。2.提出了一个支持跨域资源协同分配的虚拟作业模型（VJM）。对资源选择、死锁的检测与资源重组的问题进行了深入的讨论,并提出了相应的算法。3.通过对网格应用及用户需求的归类和对调度行为的分析,抽象出通用的调度模块,提出一个可定制、可扩展的基于插件机制的元调度模型。按照该模型的思想,设计了4个具有代表性的调度插件:支持资源虚拟化的调度、数组作业调度、网格工作流调度和data-aware调度。4.实现了CSF4元调度系统。主要有三方面内容:1.通过对多种资源访问协议的分析,提出了一个支持资源访问协议异构性的资源访问模型,实现了CSF4资源访问工厂服务和针对GRAM协议、LSF协议和VJM协议的服务实例。2.基于插件的CSF4的元调度框架的实现。3. CSF4用户界面的设计与实现。5.介绍了CSF4目前的应用情况和实验数据。包括在美国国家生物医学计算资源的应用:MyWorksphere项目和Opal-CSF4系统,在环太平洋网格与中间件联盟（PRAGMA）以及Avian Flu Grid项目中的应用。对VJM和CSF4调度插件进行评估,给出了实验数据。最后进行了总结,并指出了进一步工作的方向。

论文目录

• 内容提要
• 第一章 研究背景
• 1.1 引言
• 1.2 网格元调度系统简介
• 1.2.1 什么是网格元调度系统
• 1.2.2 元调度系统和集群调度系统
• 1.2.3 元调度系统的研究问题
• 1.3 本文重点研究的元调度系统问题
• 1.3.1 跨域并行作业的资源协同分配
• 1.3.2 任务调度
• 1.3.3 网格资源访问协议的异构性
• 1.3.4 用户界面
• 1.4 文章组织结构
• 第二章 网格元调度系统研究现状
• 2.1 网格基础设施软件
• 2.1.1 Globus Toolkit
• 2.1.2 Legion
• 2.1.3 Unicore
• 2.2 网格元调度系统
• 2.2.1 Gridway
• 2.2.2 Grid Service Broker
• 2.2.3 Condor-G
• 2.2.4 Moab & Silver
• 2.2.5 EGEE Workload Manager Service
• 2.2.6 Nimrod-G/ Axceleon Enfuzion
• 2.2.7 MP Synergy
• 2.2.8 Mars
• 2.2.9 Ninf/G
• 2.2.10 NetSolve/GridSolve
• 2.2.11 Emperor
• 2.2.12 DIRAC
• 2.2.13 Javelin
• 2.2.14 CSF4
• 2.3 小结
• 第三章 虚拟作业模型
• 3.1 跨域资源协同分配的相关工作
• 3.2 虚拟作业模型
• 3.2.1 网格并行作业存在的问题
• 3.2.2 VJM 体系结构设计
• 3.2.3 资源选择算法
• 3.2.4 死锁检测与资源重组
• 3.3 小结
• 第四章 任务调度
• 4.1 基于插件的元调度系统
• 4.1.1 网格任务调度抽象模型
• 4.1.2 基于插件的网格元调度模型
• 4.1.3 调度插件的设计
• 4.2 调度插件的设计
• 4.2.1 缺省调度插件
• 4.2.2 ArrayJob 插件
• 4.2.3 工作流插件
• 4.2.4 Dataaware 插件
• 4.2.5 工作流插件和Dataaware 插件的协作
• 第五章 CSF4 元调度系统的实现
• 5.1 资源访问框架
• 5.1.1 资源访问抽象模型
• 5.1.2 框架模型的实现
• 5.2 CSF4 调度插件
• 5.2.1 调度插件接口定义
• 5.2.2 资源虚拟化和数据Staging 的实现
• 5.3 CSF4 用户界面
• 5.3.1 命令行
• 5.3.2 CSF4 Portal
• 5.3.3 CSF4 与Opal 的集成
• 第六章 CSF4 元调度系统的应用与实验
• 6.1 美国国家生物医学计算资源的应用
• 6.1.1 MyWorksphere
• 6.1.2 Opal-CSF4 系统
• 6.2 PRAGMA 和Avian Flu Grid 项目的应用
• 6.3 CSF4 元调度系统实验数据
• 6.3.1 虚拟作业模型
• 6.3.2 CSF4 调度插件
• 6.3.3 工作流插件与Data-aware 插件
• 第七章 结论与进一步工作
• 7.1 完成的工作
• 7.2 下一步工作
• 参考文献（REFERENCES）
• 攻读博士学位期间发表的学术论文
• 致谢
• 摘要
• Abstract