面向服务的数据挖掘关键技术研究

论文摘要

解决大规模分布异构数据挖掘问题,需要一种便于资源集成、提供高质量数据挖掘服务,并具有较高安全性和隐私保护性的框架模型。面向服务的体系结构(Service Oriented Architecture,SOA)、本体、WEB服务等新技术将为数据挖掘系统的开发提供更强大的技术支持。根据分布异构环境下数据挖掘的特点,综合利用SOA、本体、WEB服务等新技术,遵循以用户为中心的理念,提出了一种开放式的面向服务的数据挖掘系统框架――SODMA。该框架将数据挖掘的算法封装成WEB服务,利用异构数据集成本体和隐私保护策略本体实现应用域的隐私保护语义数据集成,利用以用户为中心的数据挖掘本体和数据挖掘服务质量评价本体帮助用户动态选择适用且高质量的数据挖掘服务(DMS),可在分布环境下为不同领域多层次用户提供高可用性、高性能、高质量、安全的数据挖掘服务。对于分布异构的数据挖掘,异构数据集成是数据预处理很关键的第一步。数据集成的模型需要有效的解决数据异构性、完整性、权限控制、集成范围限定等问题。在分析现有的数据仓库方式、中间件集成、基于本体的数据集成方法优缺点的基础上,借鉴已有的语义数据集成和隐私保护数据挖掘的研究成果,提出了一个基于智能体和本体的隐私保护语义数据集成模型,以解决应用域隐私保护数据挖掘数据预处理的问题。定义了隐私保护数据挖掘本体,数据集成采用全局视图(GAV)和局部视图(LAV)相结合的混合本体集成方法,隐私保护策略集成采用单本体的方法,同时利用模式模糊化和角色模糊化,以提高模型的隐私保护性。数据挖掘服务是涉及数据、计算、挖掘知识的复杂服务应用,用户需要具备非常全面的专业知识才能正确使用。现有的以系统为中心的设计中,数据挖掘解决方案特别重视算法和系统工程,而没有首先探讨最终用户将如何方便地使用新的数据挖掘技术,使系统难于操作和使用。有的系统利用数据挖掘本体和预测执行时间的方法来帮助用户选择正确并且高质量的数据挖掘服务,但是数据挖掘本体只是对数据挖掘的方法进行枚举,无法保证服务的质量。在分析和总结了前人对于数据挖掘技术和系统研究成果的基础上,结合数据挖掘应用的领域知识,遵循以用户为中心的设计理念,提出了以用户为中心的数据挖掘本体,一方面根据数据挖掘功能和挖掘对象来组织数据挖掘算法,另一方面根据应用领域知识为用户提供有效的数据挖掘应用解决方案,帮助不同领域多层次用户方便选择数据挖掘服务。此外还进一步讨论了基于本体描述语言(OWL)的数据挖掘本体实现。具体的数据挖掘算法和域应用解决方案是数据挖掘本体的实例,是用户应用的核心。研究了反洗钱领域数据挖掘应用解决方案实例,包括应用域的层次,若干基本的数据挖掘算法,数据挖掘应用解决方案和所用算法间的映射等。主要实现可疑交易甄别、交易网络分析和洗钱模式发现等数据挖掘应用,给出了可视化链接分析方法,可实现交互式可视化的交易网络分析,提出了基于图熵的链接发现算法,可有效地发现交易网络的关键节点,给出改进的基于Apriori的SLAGM频繁子图发现算法,用于交易网络的结构分析。用户可利用域数据集成本体提供的语义模型,在数据挖掘本体的指导下选择数据挖掘算法和应用解决方案以定义具体的数据挖掘任务。在用户需求获取完成以后,接下来就是要根据用户需求选择合适的数据挖掘服务执行,而大多数最终用户并不具备这样的专业知识。从方便用户的角度出发,系统需提供一套服务选择机制,来帮助用户选择高质量的数据挖掘服务。系统综合通用WEB服务的评价标准、数据挖掘领域的专用评价因子及用户评价反馈等多种因素及服务的动态性,给出了一个较全面的数据挖掘服务评价本体,讨论了服务质量的评价方法,给出了基于服务质量评价的动态数据挖掘服务选择方法,用户可根据数据挖掘服务评价本体的语义模型,输入质量约束条件,也可以调整评价因子权值,系统在满足用户约束条件的服务集中,通过计算出服务的综合质量值,挑选最适合的算法执行。基于上述成果,实现了一个外汇反洗钱领域的隐私保护数据集成和数据挖掘服务选择的原型系统,并总结了系统设计特点。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究目的和意义
• 1.2 国内外研究现状
• 1.2.1 数据挖掘系统的发展
• 1.2.2 语义WEB 与本体
• 1.2.3 面向服务的数据挖掘系统
• 1.3 论文的研究内容
• 1.4 论文的组织结构
• 2 面向服务的数据挖掘系统框架
• 2.1 问题概述
• 2.1.1 本体的基础理论
• 2.1.2 WEB 服务
• 2.1.3 面向服务的体系结构（SOA）
• 2.2 面向服务的数据挖掘系统框架
• 2.3 系统总体流程
• 2.3.1 开发流程
• 2.3.2 用户使用流程
• 2.4 本章小结
• 3 数据挖掘预处理—语义数据集成
• 3.1 问题概述
• 3.2 传统的数据集成方法
• 3.2.1 数据仓库方式
• 3.2.2 中间件集成异构数据库
• 3.2.3 基于本体的数据集成
• 3.3 基于隐私保护的语义数据集成
• 3.3.1 隐私保护的相关定义
• 3.3.2 基于隐私保护的语义数据集成模型
• 3.3.3 语义数据集成
• 3.3.4 隐私保护策略集成
• 3.3.5 数据挖掘
• 3.4 隐私保护数据集成实例
• 3.4.1 数据集成实例
• 3.4.2 隐私策略集成实例
• 3.4.3 隐私保护分析和实例
• 3.5 本章小结
• 4 用户为中心的数据挖掘本体
• 4.1 问题概述
• 4.2 数据挖掘本体的设计
• 4.3 数据挖掘本体实现
• 4.4 一个反洗钱领域数据挖掘解决方案设计实例
• 4.4.1 可疑交易甄别
• 4.4.2 交易网络分析
• 4.4.3 洗钱模式创新
• 4.5 本章小结
• 5 基于质量的动态数据挖掘服务选择
• 5.1 问题概述
• 5.2 数据挖掘服务评价本体
• 5.2.1 公共评价因子（Common factor）
• 5.2.2 专用评价因子（Special factor）
• 5.2.3 过程评价因子（Process factor）
• 5.3 本体实现
• 5.4 基于质量的数据挖掘服务选择
• 5.4.1 数据挖掘服务的描述及发现
• 5.4.2 服务质量评价
• 5.5 服务选择的实例
• 5.6 本章小结
• 6 面向服务的数据挖掘原型系统
• 6.1 问题描述
• 6.2 系统开发平台
• 6.2.1 编程开发工具
• 6.2.2 本体编辑工具
• 6.2.3 本体解析推理开发工具
• 6.3 原型系统主要功能
• 6.4 基于JENA 的隐私保护策略集成和用户权限判定推理实现
• 6.4.1 本体解析过程
• 6.4.2 隐私保护策略集成装载实现
• 6.4.3 用户访问权限判定推理的实现
• 6.5 系统设计特点分析
• 6.6 本章小结
• 7 总结与展望
• 7.1 论文总结
• 7.2 未来工作展望
• 致谢
• 参考文献
• 附录 1 攻读学位期间发表的论文目录
• 附录 2 攻读学位期间参与的科研项目