数字有机体数据库系统的资源发布与搜索平台研究

论文摘要

随着互联网技术的发展,人们对于网络服务的要求越来越高,数量也越来越巨大,传统客户/服务器应用构架受到了巨大的挑战。因此在当前的技术条件下,如何构建大规模、高可扩展、高可靠、高性能的系统,成为近年来研究的热点问题之一。本论文讨论了分布式哈希表(Distributed Hash Table,DHT)技术发展历史和现状,并对DHT技术的研究现状进行了系统、全面的分析和总结。在此基础上结合8010教研室数字有机体数据库系统项目的需求设计实现了数字有机体数据库系统的资源发布搜索平台。数字有机体数据库系统的资源发布搜索平台利用DHT技术把大量分散的节点组织成一个覆盖网络,在该覆盖网络上对资源信息进行分布式存储和和检索。在覆盖网络构建和组织方面,采用Pastry覆盖网的构建和组织方式,同时也对其进行了一系列改进(如以区域作为覆盖网的基本参与单位),提高覆盖网的鲁棒性和路由效率;在网络拓扑结构维护方面,系统对拓扑结构进行主动维护(如区域的合并与拆分),降低路由和拓扑结构的故障概率;在负载均衡方面,设计了一套按照概率选择服务节点的负载均衡策略,保证了系统节点之间负载的均衡性。本文的主要贡献和内容包括:(1)给出了数字有机体数据库资源发布搜索平台覆盖网的拓扑结构,软件架构和平台工作的流程。(2)详细地介绍了基本的分布式互斥算法,并根据实际需要提出一种改进的分布式互斥算法。(3)对主流DHT算法的拓扑网络构建,维护和路由过程进行了详细的介绍,并对不同算法的节点加入复杂度,空间复杂度和路由效率进行了对比。(4)详细叙述了平台使用的通信协议,描述了实现系统所需要的关键技术;给出了系统各个模块的内部结构和具体实现方式。(5)描述了数字有机体数据库资源发布搜索平台的测试环境,测试的方法;对系统进行了功能测试和性能测试,分析了测试结果。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 问题的提出
• 1.2 研究的内容
• 1.3 本文的组织
• 1.4 本章小结
• 第二章 相关技术分析
• 2.1 分布式系统概述
• 2.2 分布式互斥介绍
• 2.2.1 中央服务器算法
• 2.2.2 基于环的算法
• 2.2.3 使用组播和逻辑时钟的算法
• 2.2.4 Maekawa投票算法
• 2.3 对等网络技术概述
• 2.3.1 非结构化P2P系统
• 2.3.2 结构化P2P系统
• 2.4 主流DHT技术介绍
• 2.4.1 Pastry原理
• 2.4.2 Chord原理
• 2.4.3 CAN原理
• 2.4.4 Tapestry原理
• 2.4.5 DHT算法的比较
• 2.5 本章小结
• 第三章 资源发布搜索平台整体介绍
• 3.1 数字有机体和数字有机体数据库系统
• 3.2 资源发布搜索平台概述
• 3.3 系统平台的设计准则
• 3.4 名词概念解释
• 3.5 软件体系结构
• 3.5.1 线程池模块
• 3.5.2 网络通信模块
• 3.5.3 网络拓扑管理模块
• 3.5.4 资源信息管理模块
• 3.5.5 接口模块
• 3.6 本章小结
• 第四章 通信协议的设计和关键技术描述
• 4.1 协议设计概述
• 4.2 路由维护协议的设计
• 4.2.1 节点加入协议
• 4.2.2 节点间的检测协议
• 4.2.3 路由查询协议
• 4.2.4 区域拆分协议
• 4.2.5 区域合并协议
• 4.3 资源操作协议的设计
• 4.3.1 资源发布协议
• 4.3.2 资源查找协议
• 4.3.3 资源信息的修改协议
• 4.3.4 资源信息合并协议
• 4.4 系统关键技术的描述
• 4.4.1 基于冲突退避的分布式互斥
• 4.4.2 节点加入过程
• 4.4.3 路由信息的维护
• 4.4.4 区域合并过程
• 4.4.5 区域拆分过程
• 4.4.6 消息路由算法
• 4.4.7 资源信息搜索
• 4.4.8 负载均衡策略
• 4.5 本章小结
• 第五章 数字有机体数据库系统的资源发布搜索平台的实现
• 5.1 资源搜索发布平台实现概述
• 5.2 基本数据结构的定义
• 5.3 线程池模块的实现
• 5.4 网络通信模块的实现
• 5.5 网络拓扑模块的实现
• 5.6 资源管理模块的实现
• 5.7 接口模块的实现
• 5.8 本章小结
• 第六章 系统的测试
• 6.1 测试目的
• 6.2 测试环境
• 6.3 功能测试
• 6.4 性能测试
• 6.4.1 资源发布性能测试和分析
• 6.4.2 资源查找性能测试和分析
• 6.4.3 资源修改性能测试和分析
• 6.5 本章小结
• 第七章 结束语
• 致谢
• 参考文献
• 在学期间的研究成果