分布式图像管理系统的设计与实现

论文摘要

数码相机、摄像机、智能拍照手机的普及产生了海量的数码照片文件和视频文件。通常这些文件都被分散存储在用户的多台电脑、数码相机、手机、甚至社交网络里。面对分散存储的大量图像文件,个人用户需要专门的软件来管理这些图像文件,而不是简单地将图像文件集中到一台电脑上使用文件夹来组织它们。传统的图像文件管理系统通过将分散存储在多台设备上的图像文件复制到一台装有图像管理软件的设备上或者上传至Web,然后进行集中的照片管理。但是将分散存储的图像文件集中管理的模式会带来一些问题,包括网络带宽的浪费,存在单一失效点,无法离线访问,系统的可伸缩性弱等。为了解决这些问题,本文设计了一个新型分布式图像管理系统,使得用户可以高效、便利地对分散存储在各种设备上的图像文件进行管理。该系统包括用户接口管理器、虚拟图像库管理器,元数据同步管理器,图像分享管理器,消息总线,工作流引擎组件,图像文件存储管理器,图像文件解析器插件,RDF数据库访问插件等。本文设计并实现的系统具有以下的特点和优势:高可用性:通过将构成虚拟图像库的元数据在同一个用户的各个节点间复制使得用户可以在任一节点上访问虚拟图像库,即使节点处于离线状态。并且由于采用的是乐观复制技术,部分节点处于离线或网络分区状态不会阻碍其他节点之间的复制。性能:首先,以对等体系结构组织用户节点使得图像文件分布存储在每个节点上,从而将对单一节点的图像文件访问请求的负载分布到多个用户节点上。其次,在对等体系结构中,节点间的文件请求仅当用户所请求的图像文件不在本地节点时才发生,这从源头上减少了文件请求的次数。再次,通过P2P的方式完成对存储在远端节点上文件的请求后,文件将被缓存在本地节点以此减轻重复请求所带来的成本。最后,由于同一用户的每个节点上都通过乐观复制方式持有描述该用户虚拟图像库的元数据,这也在提高可用性的同时改善了对元数据访问的性能。可伸缩性:首先,用消息路由器组件和网关组件将本地节点上的内存消息队列分布式图像管理系统的设计与实现网络和节点间XMPP网络粘合在一起构成消息总线,这保证了底层系统通信基础设施具有XMPP即时通信网络所提供的地域可伸缩性。其次,各个用户节点间以对等的方式协作,这样使得系统可以具有很好的规模可伸缩性。易用性:描述图像库的元数据在同一用户的不同节点间的同步是由部署在各个节点上同步管理器组件使用乐观复制的方式协作完成的,整个过程对于最终用户或客户应用程序是透明的。另外,节点间的P2P文件传输和缓存对于用户和客户应用程序同样是透明的。可修改性:系统通过使用配置文件来定制系统行为。并使用依赖注入的方式实现插件的加载,提高系统的可修改性。另外对于一些容易变化的业务,系统采用BPEL来定义业务流程。良好的可修改性保证系统可以部署在不同计算能力的平台上。通过基于本文设计的系统平台所开发的一个客户应用程序验证了本系统的主要功能,并对一些关键系统服务进行了性能测试。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景
• 1.2 国内外发展现状
• 1.3 本文的主要工作和组织结构
• 1.3.1 本文的主要工作
• 1.3.2 本文的组织结构
• 2 技术背景
• 2.1 XMPP 即时消息通信
• 2.2 消息中间件
• 2.3 RDF & RDFS
• 2.3.1 RDF
• 2.3.2 RDFS
• 3 系统框架结构
• 3.1 需求分析
• 3.1.1 名词解释
• 3.1.2 功能性需求分析
• 3.1.3 非功能性需求分析
• 3.2 系统总体框架设计
• 3.2.1 对等体系结构
• 3.2.2 消息总线与文件传输
• 3.2.3 系统部署图
• 3.3 针对跨平台性和可变更性的设计
• 3.4 本章小结
• 4 系统设计
• 4.1 节点软件的分层结构
• 4.2 应用接口层设计
• 4.3 业务层设计
• 4.3.1 业务层的基本单元组件-管理器
• 4.3.2 个人虚拟图像库的数据模型
• 4.3.3 图像文件管理与VCM 管理
• 4.3.4 用户及节点管理
• 4.3.5 分享管理
• 4.3.6 同步管理
• 4.4 数据访问层设计
• 4.4.1 文件解析器与文件访问器
• 4.4.2 元数据访问器
• 4.5 本章小结
• 5 关键技术与系统实施
• 5.1 消息总线
• 5.1.1 消息总线的总体设计
• 5.1.2 通信端点- 逻辑地址和消息格式
• 5.1.3 消息路由器
• 5.1.4 网关
• 5.2 元数据同步
• 5.2.1 同步模块设计
• 5.2.2 基于版本向量的复制算法
• 5.3 系统实施
• 5.3.1 实施环境的搭建
• 5.3.2 基于本系统开发的客户应用程序
• 5.4 本章小结
• 6 测试与分析
• 6.1 功能测试与分析
• 6.2 性能测试与分析
• 6.3 本章小结
• 7 总结与展望
• 7.1 本文的主要贡献
• 7.2 进一步的研究工作
• 参考文献
• 附录
• 致谢
• 攻读学位期间发表的学术论文目录