基于结构化对等网络的高性能计算平台关键技术研究

论文摘要

基于结构化对等网络的高性能计算平台的相关研究,现在仍处于起步阶段。这其中提出了很多新的问题,也为与此相关的研究开辟了很多新的方向。对等网络有一个基本特征:网络中节点的加入和离开的时间是不确定的。这种特性称之为搅动（Chum）。这种特性也使得平台相关技术的研究更为困难。基于结构化对等网络的高性能计算平台的底层Overlay使用分布式哈希表Chord。Chord协议中查找的过程是单一的顺时针方向。这使得查找在逻辑上离本地非常近的逆时针方向节点需要较长的路由过程。针对于此,提出了新的分布式哈希表协议Dual-Chord。Dual-Chord通过对路由表的扩展,使得查找可以沿着顺时针和逆时针两个方向进行。协议中,查找策略可以根据关键字在Chord环上的位置离当前节点的远近来确定查找的方向,提高了查找效率。同时,Dual-Chord协议综合考虑了网络延时对查找的影响。在设计中也根据节点间的网络延时来优化查找的性能。实验表明,在对等网中Dual-Chord协议定义的查找算法效率比Chord要高。范围查询模块是基于结构化对等网络的高性能计算平台的基础设施。在结构化的对等网络上,传统的范围查询模式存在着负载不均衡、容错性差等问题。基于此,一种新的范围查询模式——Yarqs被提出。Yarqs按照一定的聚类规则来组织结构化对等网络中的缓存,并在全局的缓存网络中实现了有效的范围查询。在没有改变原来分布式哈希表结构的情况下,Yarqs的模式能够获得很好的性能,并且在网络搅动特性明显的情况下,协议规定的查找算法依然能够帮助查询获得非常好的结果。除优秀的查找精度和容错性之外,Yarqs也继承了原有分布式哈希表负载均衡的特性,这种特性对于对等网络的扩展性是非常有利的。在底层Overlay和范围查询模块构建的基础设施之上,设计平台的资源管理和资源发现模块才成为可能。平台首先确定了资源节点间监控的模式。其后,构建平台资源管理和资源发现的基础数据结构和策略,并在逻辑上确定不同查询层次的功能和作用。另一方面,针对一个对等网络高性能计算平台的实例,对平台中节点资源的特性做了直观的分析。同时,在这一模块的构建中,也解决了多属性资源范围查询的问题,扩展了Yarqs的适用范围。基于对等网络的高性能计算平台与传统的志愿者计算及并行机上的高性能计算有很大的区别。在基于对等网络的高性能计算平台中,网络环境是异构的,而计算节点加入和离开网络的时间也是不确定的。针对对等网络的特点,为了获得更加高效的调度,引入了基于节点历史在线时间预测的作业调度策略。这种策略将任务尽量调度到预期在线时间长、能够尽量多的完成任务的节点上。在这种调度策略的帮助下,作业能够减少在不同节点之间的迁移,提高了计算节点资源的利用率,帮助作业尽量快的完成。在性能测试中,通过使用了真实的数据验证了调度算法的有效性。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 基于对等网络的高性能计算面对的问题
• 1.2 基于对等网络的高性能计算平台的发展现状
• 1.3 结构化对等网络
• 1.4 本文的研究内容和方法
• 1.5 本文组织结构
• 2 结构化对等网络基础拓扑的优化
• 2.1 模型和 Dual-Chord协议
• 2.2 Dual-Chord搜索算法
• 2.3 性能评价
• 2.4 本章小结
• 3 结构化对等网络中的范围查询
• 3.1 结构化对等网络实现范围查询的一般模式
• 3.2 新的范围查询模式 Yarqs的设计
• 3.3 性能评价
• 3.4 本章小结
• 4 对等计算中的资源管理和资源发现
• 4.1 平台资源管理模块结构
• 4.2 对等网络中的资源监控
• 4.3 对等网络节点信息的多属性范围查询
• 4.4 性能分析
• 4.5 本章小结
• 5 基于在线时间预测的作业调度
• 5.1 基于对等网络的高性能计算中作业调度的通常模式
• 5.2 作业调度的问题分析
• 5.3 作业调度策略和设计
• 5.4 性能分析
• 5.5 本章小结
• 6 总结与展望
• 致谢
• 参考文献
• 附录1 攻读博士学位期间的学术论文及成果
• 附录2 攻读博士学位期间参加的主要科研项目