频繁图结构并行挖掘算法的研究与实现

论文摘要

随着包括化学情报学、生物信息学、计算机视觉、视频索引、文本检索以及Web分析在内的广泛应用,图做为一种一般的数据结构在复杂结构和它们之间相互作用建模过程中变得越来越重要。为了进一步进行特征化、区分、分类和聚类分析,挖掘频繁子图模式已经成为了一项重要的任务,频繁子图挖掘已经成为了数据挖掘中一个活跃和重要的课题。在各种各样的图模式中,频繁子结构是可以在图集合中发现的非常基本的模式。频繁子结构可以用来刻画图集合的特征,区分不同的图组群,对图进行分类和聚类,构造图索引和更方便的在图数据库中进行相似性搜索,例如,通过对比不同类中频繁图的支持度,发现HIV甄别数据集中活跃的化学结构。但是,现有频繁子图挖掘算法在最小支持度很低时效果并不好,因此,本文给出在集群并行环境下频繁图并行挖掘算法。本文主要的研究结果如下:根据频繁子图挖掘算法gSpan的算法思想,提出了一种在基于集群并行环境下的动态负载平衡的频繁子图并行挖掘算法。该方法通过划分DFS词典树,维护本地负载队列,限制负载粒度等策略有效的实现了并行频繁子图的挖掘,理论分析和实验结果验证本文的并行算法在集群机器上具有很好的性能。针对频繁闭图挖掘算法CloseGraph,给出了早期终止失败检测的替代方法,实现了CloseGraph算法,并且进一步提出了频繁闭图并行挖掘算法,并且实验验证了算法,算法具有较好的性能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和意义
• 1.2 国内外研究现状
• 1.3 本文的主要研究内容
• 第2章 预备知识
• 2.1 频繁图结构挖掘的相关概念
• 2.1.1 什么是频繁子图挖掘
• 2.1.2 什么是频繁闭图挖掘
• 2.2 频繁子图的挖掘方法
• 2.2.1 基于Apriori方法
• 2.2.2 模式增长方法
• 2.3 gSpan算法的相关概念
• 2.4 本章小结
• 第3章 频繁子图并行挖掘算法的设计与实现
• 3.1 频繁子图并行挖掘算法的设计
• 3.1.1 基于DFS词典树的划分策略
• 3.1.2 动态负载平衡
• 3.1.3 协调机的分配节点选择
• 3.1.4 节点的负载重新划分
• 3.1.5 算法流程
• 3.1.6 算法性能分析
• 3.2 频繁子图并行挖掘算法的实验分析
• 3.2.1 单机gSpan的挖掘算法
• 3.2.2 朴素频繁子图并行挖掘算法
• 3.2.3 动态负载平衡策略对并行挖掘算法的效率提升
• 3.2.4 负载粒度控制策略对算法效率的影响
• 3.2.5 算法性能指标
• 3.3 本章小结
• 第4章 频繁闭图并行挖掘算法的设计与实现
• 4.1 频繁闭图的挖掘算法改进与实现
• 4.2 频繁闭图并行挖掘算法设计
• 4.2.1 基于DFS词典树划分策略
• 4.2.2 动态负载平衡
• 4.2.3 算法流程
• 4.2.4 算法性能分析
• 4.3 频繁闭图并行挖掘算法实现与实验分析
• 4.3.1 单机频繁闭图挖掘算法
• 4.3.2 频繁闭图并行挖掘算法
• 4.3.3 算法性能指标
• 4.4 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢