基于GLOBUS的分布式数据挖掘模型研究与实现

论文摘要

世界上万事万物都在不断变化发展,计算机应用模式随着企业应用的发展也在不断变化发展。计算机应甩模式在近50年的发展变化过程中,经历了从集中式到分布式的这一变化路线。网格技术的出现使计算机应用模式再次走向了分布。随着信息技术的发展,各部门内部或者企业内部产生的数据量在急剧增加。爆炸式的数据增长既给企业带来了机遇同时也带来了挑战,如何从这些海量数据中发现知识,以及如何有效的发现知识是当今信息社会遇到的重大挑战。传统的集中式数据挖掘方式虽然能在一定程度上解决由数据分布带来的一些问题,但是面对海量数据,传统的集中式数据挖掘方式在挖掘性能方面越来越不能满足人们的需要。网格应用模式的出现给分布式数据挖掘带来了新的契机。本文的研究重点是Globus环境下的分布式数据挖掘模型。分布式数据挖掘要解决的首要问题,是数据资源和计算资源的合理匹配,以达到挖掘性能的优化。传统的分布式数据挖掘模型——移动代码和移动数据模型,虽然各有优点,但是都没有解决数据资源和计算资源的匹配问题,不能对分布式数据挖掘任务进行性能优化。本文提出的PDS模型,结合了移动代码和移动数据模型的优点,并运用最小响应时间作为分布式数据挖掘任务分配策略,对基于多个数据集的分布式数据挖掘任务进行任务优化分配。论文还给出了分布式数据挖掘最小响应时间模型各组成部分的预测方法以及实验结果。GS模型是基于Globus网格服务的分布式数据挖掘模型,是PDS模型的简化模型。GS模型运用SOA的架构思想,将分布式数据挖掘功能以网格服务的形式进行封装,客户通过调用网格服务来完成数据挖掘任务,在第5章中作者开发了一个GS模型的服务端程序。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第1章 绪论
• 1.1 引言
• 1.2 研究背景与意义
• 1.2.1 研究背景
• 1.2.2 研究意义
• 1.3 论文的结构和我的工作
• 第2章 计算机应用模式的演变
• 第3章 网格与分布式数据挖掘
• 3.1 网格技术概论
• 3.1.1 网格的体系结构演变
• 3.1.2 五层沙漏体系结构
• 3.1.3 开放网格体系结构
• 3.1.3.1 OGSA的架构
• 3.1.4 OGSA的Web服务资源框架实现
• 3.1.5 WSRF和OGSI
• 3.2 分布式数据挖掘
• 3.2.1 数据挖掘
• 3.2.2 分布式数据挖掘
• 3.2.3 Globus Tookit4与Weka
• 第4章 Globus环境下的两种数据挖掘模型
• 4.1 GT的扩展和PDS、GS模型
• 4.2 影响分布式数据挖掘性能的因素分析
• 4.3 移动数据和移动代码模型及其不足
• 4.4 基于策略和任务分配调度的网格数据挖掘模型
• 4.4.1 PDS模型介绍
• 4.4.2 PDS模型的架构
• 4.4.3 PDS模型的资源选择策略与资源信息库的动态构建
• 4.4.4 PDS模型的响应时间预测和任务分配算法描述
• 4.4.5 实验结果与分析
• 4.4.6 小结
• 4.5 基于网格服务的分布式数据挖掘模型
• 4.5.1 GS模型介绍
• 4.5.2 网格与SOA
• 4.5.3 GS模型的架构
• 4.6 小结
• 第5章 GS模型服务端的实现
• 5.1 系统的设计模式
• 5.2 系统接口设计
• 5.3 系统的体系结构
• 5.4 实验与运行结果分析
• 第6章 总结
• 6.1 本文研究工作总结
• 6.2 本文的创新
• 参考文献
• 附录1 攻读硕士期间发表的论文
• 附录2 攻读硕士期间参加的课题和项目
• 致谢