网格技术是目前国际上非常活跃的研究领域之一。其大体上可以分为计算网格和数据网格。计算网格面向大计算量的任务,而数据网格则面向数据密集型任务和数据管理。计算网格和数据网格的集成可以为数据密集型作业提供优化的调度策略,使任务和数据的分布更为合理,减少网络带宽和磁盘空间的浪费,提高单个作业的执行效率以及系统的整体性能。本文在LINUX RedHat9.0上基于LSF的插件机制实现了Gfarm1.0.4和LSF6.0 的集成,在一个调度模块中实现了机群系统对数据密集型作业的调度和管理,系统能够作出更为合理的调度决定。新的调度策略缩短了作业的响应时间,减少了系统的使用率,避免了多个作业之间竞争网络带宽,提高了作业的执行效率。且插件机制的使用,避免了新的调度策略影响系统中非Gfarm 应用程序的现有调度策略,而且在对非Gfarm 应用程序进行调度的同时,可以协同利用LSF 的现有调度策略。
本文来源: https://www.lw50.cn/article/f88fd3baa541244ffad72301.html