青海移动数据仓库数据质量控制方案设计与实现

论文摘要

中国移动通信集团自2003年开始在全国逐步建设省级经营分析系统(以下简称为省级经营分析系统),经过多年发展,已初步建立了数据质量管理机制,有效保障了经营分析系统的数据质量。随着省级经营分析系统价值的不断显现和稳步提升,以及IT系统安全管理、风险内部控制等重大管理举措的实施,省公司对经营分析系统如何保障数据质量提出了更高要求。本文根据中国移动经营分析系统数据质量控制要求和自己多年的工作经验和在数据质量控制管理过程中的实践经验,结合中国移动省级经营分析系统数据质量管理系统业务技术规范,探讨在数据质量控制过程中的若干技术实践问题和管理实践问题,并结合实践过程,对中国移动省级经营分析系统数据质量管理系统业务技术规范(v2.0)提出几点建议,尤其重点强调了数据源管理和需求管理对保障数据质量的重要意义和现实作用；本文提出数据质量与投资效益的内在联系,首次明确提出数据质量控制方面的效能管理。论文在经分系统数据质量管理规范提出的六大要素的基础上,提出“数据关联性”分析指标；在数据质量问题梳理中,对规范中理出的四大问题中的管理问题,做了适当的调整、补充、完善；本文论述的数据质量控制方法也适用于运营商其他的IT系统的数据质量管理过程,比如目前正在建设中的数据业务系统综合分析系统、运维管理系统、综合资源管理系统,各个系统的侧重点不同,运用的控制方法中的侧重点也不一样；像在综合资源管理系统中,数据源的管理过程将是该系统数据质量控制的非常重要的组成部分。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景
• 1.2 课题任务
• 1.3 论文结构
• 第二章 数据质量控制的关键问题分析
• 2.1 数据仓库的基本概念
• 2.1.1 数据仓库
• 2.1.2 元数据
• 2.2 数据质量衡量标准
• 2.2.1 数据的完整性
• 2.2.2 数据的唯一性
• 2.2.3 数据的精准性
• 2.2.4 数据的合法性
• 2.2.5 数据一致性
• 2.2.6 数据及时性
• 2.2.7 数据关联性性
• 2.3 数据质量问题原因分析
• 2.3.1 信息问题域
• 2.3.2 技术问题域
• 2.3.3 流程问题域
• 2.3.4 管理问题域
• 第三章 数据质量控制方案设计
• 3.1 数据质量管理系统方案设计
• 3.1.1 系统总体架构设计
• 3.1.2 系统主体功能设计
• 3.1.3 数据编码规则设计
• 3.1.4 接口文件设计
• 3.1.5 接口数据准确性规则
• 3.2 数据质量管理体系设计
• 3.2.1 建立并完善组织机构
• 3.2.2 强化流程管理
• 3.2.3 加强需求管理
• 3.2.4 加强制度建设
• 3.2.5 强化业务部门与支撑部门的联动机制
• 3.2.6 加大质量考核指标
• 3.2.7 强化元数据维护管理
• 3.2.8 加强项目风险管理
• 3.2.9 项目效能管理
• 第四章 数据质量控制功能的实现
• 4.1 质量管理系统技术实现构架
• 4.2 数据质量监控技术实现
• 4.3 数据质量检查代理
• 4.3.1 目录扫描模块
• 4.3.2 检查规则读取模块
• 4.3.3 数据质量监控检查模块
• 4.3.4 检查结果生成模块
• 4.3.5 代理活动采集模块
• 4.3.6 通信模块
• 4.4 数据质量监控服务器
• 4.4.1 用户管理模块
• 4.4.2 检查规则处理模块
• 4.4.3 代理配置处理模块
• 4.4.4 代理活动监控模块
• 4.4.5 检查结果处理模块
• 4.4.6 数据库接口模块
• 4.4.7 通信模块
• 4.5 数据质量检查客户端
• 4.5.1 检查规则查看
• 4.5.2 检查规则配置
• 4.5.3 代理配置
• 4.5.4 代理活动监控
• 4.5.5 检查结果查看
• 4.5.6 用户管理
• 4.5.7 通信模块
• 4.6 元数据管理的实现
• 4.6.1 元数据管理模块的技术实现
• 4.6.2 元数据访问接口的实现
• 4.6.3 元数据获取方式
• 4.6.4 元数据一致性检查
• 4.6.5 元数据管理平台与其他平台的交互
• 4.6.6 元数据的利用
• 第五章 结束语
• 5.1 论文工作总结
• 5.2 问题和展望
• 附录
• 参考文献
• 致谢