中国移动一级经营分析系统的ETL设计与优化

论文摘要

摘要：ETL(数据抽取、转换、加载)是将OLTP(联机事务处理)系统中的数据抽取出来,并将不同数据源的数据进行转换和整合得出一致性的数据,然后加载到数据仓库中。ETL是构建和实施数据仓库的基本构件,也是BI(商业智能)系统的重要组成部分,并且为数据仓库的分析和应用提供了统一的接口和数据,它将复杂的业务逻辑屏蔽起来,使得数据仓库能够进行自动化处理。数据仓库可以采集、储存并分析数据,进而洞悉业务状况,它在数据分析和决策支持方面提供服务,这种系统称为联机分析处理(OLAP)系统。本文在详细介绍了数据仓库、ETL相关理论知识、Teradata数据仓库以及中国移动一级经营分析系统(简称一经系统)ETL处理机制的前提下,进一步形象的展示了一经系统中ETL机制的自动化处理精髓。在此基础上,研究出当前系统中ETL流程在数据处理过程中的不完善之处；进一步提出了ETL处理流程的优化建议,以及介绍了将这些优化建议逐步开发并加以实现的过程；最后介绍了报表开发及其在ETL流程中实现的过程,包括：报表需求获取、统计口径整理、脚本开发、数据测试与核查、统计口径核对、作业配置上线等。中国移动一级经营分析系统在业界是很成功的BI案例,它的ETL处理性能达到了很先进的水平,但ETL的数据处理速度也在很大程度上决定着整个经分系统的运行速度,对ETL的维护与优化的研究对中国移动一级经营分析系统的运行有着极其重要的作用和意义。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 序
• 1 绪论
• 1.1 课题背景及研究意义
• 1.2 中国移动一级经营分析系统及其ETL的研究现状
• 1.3 论文的主要工作
• 2 相关理论分析
• 2.1 数据仓库
• 2.1.1 数据仓库发展历程
• 2.1.2 数据仓库基本概念
• 2.1.3 数据库与数据仓库的比较
• 2.1.4 企业数据仓库搭建理论
• 2.1.5 数据仓库系统的查询特点
• 2.1.6 数据仓库的作用和意义
• 2.2 数据仓库与决策支持
• 2.3 Teradata数据仓库介绍
• 2.3.1 Teradata数据库简介
• 2.3.2 Teradata并行处理机制
• 2.3.3 Teradata应用工具
• 2.3.4 使用Teradata的电信业客户分析
• 2.4 ETL技术研究
• 2.4.1 ETL概述
• 2.4.2 ETL与数据仓库
• 2.4.3 ETL价值体现
• 3 中国移动一级经营分析系统的ETL流程介绍
• 3.1 一经业务处理及数据仓库结构介绍
• 3.2 一经系统数据接口规范概述
• 3.2.1 接口双方责任及实现方式
• 3.2.2 文件目录及维护
• 3.2.3 接口单元详述
• 3.2.4 纬表
• 3.3 一经系统ETL Automation介绍
• 3.3.1 ETL Automation目录介绍
• 3.3.2 ETL Automation调度流程说明
• 3.4 如何使ETL处理自动化
• 3.4.1 调度数据库表
• 3.4.2 后台调度脚本
• 3.4.3 作业处理脚本
• 3.5 ETL Automation监控工具
• 3.6 一经系统ETL机制的优劣分析
• 4 ETL过程优化解析
• 4.1 增量接口重传自动化处理
• 4.1.1 增量接口入库处理方式介绍
• 4.1.2 增量接口重传处理过程
• 4.1.3 增量接口自动化脚本优化
• 4.1.4 增量接口重传优化脚本运行效果
• 4.2 数据传输过程中入库方式的改进测试
• 4.3 接口数据及时性处理方案变更
• 4.4 数据仓库的优化与维护（备份数据库原理与整改）
• 4.5 报表专题化展示,指标整合行动
• 4.5.1 现有集团客户报表情况
• 4.5.2 报表整合行动改进方案介绍
• 5 ETL在具体项目中的实现
• 5.1 "重要集团客户覆盖率"项目背景介绍
• 5.2 重要集团客户覆盖率开发过程概述
• 5.2.1 相关数据库表结构介绍
• 5.2.2 一对多多对一上传方式介绍
• 5.2.3 中间处理过程
• 5.2.4 报表开发
• 5.2.5 作业配置与部署上线
• 6 总结与展望
• 6.1 全文总结
• 6.2 研究展望
• 参考文献
• 附录 A
• 作者简历
• 学位论文数据集