对等网络分布式缓存机制研究

论文摘要

对等网络（Peer-to-Peer Network, P2P）是一种分布式网络,构建在物理网络之上的逻辑覆盖网络,网络上的各台计算机有相同的功能,互相共享各种资源。虽然被大量研究,但是由于网络结构的复杂性,对等网络的资源搜索效率比较差的问题依然存在。同时,随着P2P应用的迅速增长,对等网络系统已经成为互联网上最大的带宽消费者。提高P2P搜索效率,减轻互联网主干通信压力,增加用户的访问体验,已成为P2P应用中亟待解决的重要问题。缓存技术是解决这些问题的一种有效的方法。尽管基于中心服务器的集中式缓存策略已经比较成熟,但针对P2P系统的分布式缓存机制研究还处于起步阶段。非结构化P2P网络的基本搜索机制是洪泛,这样的策略具有较低的搜索效率。为了改善搜索效率和减少系统开销,提出了一种基于非结构化P2P网络的分布式缓存机制,包括基于位置的拓扑构造、三维偏好随机游走、最大时延缓存放置策略、基于热度和请求的缓存替换策略。在拓扑构造上,聚集位置相近节点,以形成不同的子网；搜索时偏向于在子网内搜索,以获得更短的查询时延；在决策缓存放置节点时,选择离目标节点更远的节点,以提高缓存命中率；在缓存替换时,优先替换高频资源,防止出现过度缓存问题。通过模拟实验对提出的算法进行了仿真,并与其他算法进行了对比分析,结果显示提出的算法有更好的查询命中率、较小的查询时延、较高的缓存命中率和较低的通信开销。为了提高结构化P2P网络的整体性能,提出了一种基于结构化P2P网络的分布式缓存方法。通过使用分层的分布式哈希表（Distributed Hash Table, DHT）路由结构,可以为具有不同拥有率（资源在网络中的副本数量与网络规模的比值）的各种资源建立足够数量的缓存,并小心地选择合适节点来存放这些缓存,以提高缓存效率。通过对不同算法和启发式算法的模拟实验发现,结合分层DHT路由结构,提出的缓存策略可以有效地减少查询时延、获得更好的负载平衡和较好的缓存命中率,同时也有效地缓解了过度缓存问题带来的负而冲击,可以较好地为大部分资源提供满意的缓存性能。绝大部分P2P分布式缓存机制都是被动缓存,即只有当一个资源被请求时才会触发缓存操作,这将导致稀有资源缓存不足,因为稀有资源被请求的频率比较低。然而在很多情况下,稀有资源是非常有价值的,比如P2P文件共享和P2P流媒体应用中的稀有块。为了提高稀有资源的搜索效率,提出了主动缓存策略和稀有资源搜索算法,它需要更少的缓存副本数量,从而可以减少缓存机制带来的系统开销。模拟实验结果显示通过提出的算法,能大大地改进对稀有资源的搜索效率,搜索命中率达到98%以上；同时又能将通信开销维护在一个较低的水平,相比已有算法,可以减少近40%的通信流量。基于P2P的流媒体和文件共享已经越来越流行,而且这些应用的规模也越来越大,对互联网影响也越来越重要。然而,由于现有的大规模P2P应用大都是商用系统,这些应用的协议、架构和算法大多都是不公开的,使得分析这些系统、发现问题和解决瓶颈变得非常困难。大量研究使用黑盒方式来测量和评估这些系统的特性,比如下载性能、用户分布、会话长度等。为了涵盖更多的测量尺度,研究了对等网络测量机制,提出了通用的对等网络测量模型,并针对不同热度的资源使用提出的模型进行了验证实验。测量尺度包括数据传输率、缓存机制、节点位置分布、会话长度等,通过这些测量结果可以为分布式缓存研究提供支持,也可以为其他研究者提供帮助。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 对等网络概念、理论和技术
• 1.3 国内外相关研究现状及分析
• 1.4 论文的主要研究内容
• 1.5 论文的结构
• 2 非结构化对等网络的分布式缓存机制
• 2.1 引言
• 2.2 分布式缓存底层框架
• 2.3 P2P分布式缓存机制
• 2.4 仿真实验及结果分析
• 2.5 小结
• 3 结构化对等网络的分布式缓存方法
• 3.1 引言
• 3.2 分布式缓存底层路由机制
• 3.3 分布式缓存放置算法
• 3.4 分布式缓存替换算法
• 3.5 仿真实验及结果分析
• 3.6 小结
• 4 对等网络主动缓存策略
• 4.1 引言
• 4.2 主动缓存策略
• 4.3 稀有资源搜索方法
• 4.4 仿真实验及结果分析
• 4.5 小结
• 5 对等网络测量研究
• 5.1 引言
• 5.2 对等网络测量模型
• 5.3 测量实验设置
• 5.4 测量结果分析
• 5.5 小结
• 6 总结与展望
• 6.1 论文总结
• 6.2 进一步研究展望
• 致谢
• 参考文献
• 附录1 攻读学位期间发表的论文
• 附录2 攻读学位期间参与的科研项目
• 附录3 攻读学位期间申请的专利