基于元数据的数据质量控制与评估模型研究

论文摘要

数据是企业的资产,而数据的质量高低决定着这些资产的价值。由于数据质量问题是普遍存在的,同时也是不可避免问题。因此,如何为企业的决策提供高质量的数据已经成为制约企业信息化发展的关键问题。针对油田数据数量多、种类庞杂、横跨专业多等特点而引起的数据质量不高的现状,本文以数据中心数据为研究对象,通过分析产生数据质量问题的原因,以元数据、数据质量、数据建模等理论为基础,并对数据流动过程中的质量检查、质量控制和质量评估等进行深入的研究,提出了基于元数据的数据数据质量控制与评估体系模型。该模型体现了全程数据质量控制的思想,即将影响数据质量的因素分散到几个重要的阶段,包括数据字典元数据的质量、模式层、实例层中约束规则数据库的质量以及数据质量评估标准的质量。如果能够对上述几个阶段进行质量控制,那么企业数据的质量将会得到强有力的保证。本文针对数据中心的应用数据构建了数据字典,从数据建模的源头就开始对元数据进行控制;并根据现有数据的质量状况,从数据的完整性、一致性、准确性及时效性四个方面构建了数据质量定义模型;同时,基于数据质量定义模型在数据的模式层与实例层定义了相应的约束规则元数据模型库;然后,基于元数据模型库对数据的质量进行了控制与评估。针对数据质量可能出现问题的每一个环节,采用不同功能的元数据对数据质量全程控制,从而全面提高了数据质量。最后,本文给出了基于元数据的数据质量控制与评估系统的实现,并将其初步应用到数据中心项目中,验证结果表明:基于元数据的数据质量控制系统具有良好的运行效率和运行效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.2.1 数据质量概述
• 1.2.2 领域数据质量研究
• 1.2.3 元数据研究
• 1.3 论文的组织结构
• 第二章 数据质量相关理论研究
• 2.1 数据质量定义
• 2.2 数据的质量要素
• 2.3 数据质量的分类
• 2.4 全面数据质量管理
• 2.5 元数据
• 2.5.1 元数据的概念
• 2.5.2 元数据的作用
• 2.6 本章小结
• 第三章 数据质量控制体系结构
• 3.1 数据质量问题的产生
• 3.2 数据质量控制体系解决方案
• 3.3 系统的体系结构
• 3.4 本章小结
• 第四章 数据质量控制规则与算法研究
• 4.1 数据质量控制的一般流程
• 4.2 数据质量元素
• 4.3 数据质量约束规则
• 4.3.1 完整性约束规则
• 4.3.2 一致性约束规则
• 4.3.3 准确性约束规则
• 4.3.4 时效性约束规则
• 4.4 数据质量评估算法
• 4.5 本章小结
• 第五章 数据质量控制元模型的设计
• 5.1 数据字典元模型的构建
• 5.1.1 数据字典元模型的设计思想
• 5.1.2 数据字典元模型的实现
• 5.2 权限管理元模型的建立
• 5.2.1 权限管理元模型的设计思想
• 5.2.2 权限管理元模型的构建
• 5.3 数据质量约束规则元模型的构建
• 5.3.1 约束规则元模型的设计思想
• 5.3.2 约束规则元模型的构建
• 5.4 评估算法元模型的建立
• 5.4.1 评估算法元模型的设计思想
• 5.4.2 评估算法元模型的构建
• 5.5 本章小结
• 第六章 系统的设计与实现
• 6.1 系统的设计
• 6.1.1 系统的用例设计
• 6.1.2 系统的静态结构设计
• 6.1.3 系统动态结构设计
• 6.2 系统的实现
• 6.3 本章小结
• 结论
• 参考文献
• 发表文章目录
• 致谢
• 论文摘要