数据仓库存储EDR系统的研究与实现

论文摘要

数据仓库实质是对大量的、多种类的企业数据的集成,目的是为了更好的利用已有的信息,从而实现“数据—信息—知识”的过程,为企业的管理层提供决策支持。传统的数据库技术与数据仓库有很大的不同,在对决策支持系统方面有几点不足,首先各种来源的数据在定义和组织方式上不同,为决策者统一调用数据和进行不同系统的比较带来了困难,数据仓库提供了数据融合技术,将不同来源、不同定义的数据统一定义和管理;数据库提供的数据是事务性的、操作性的,数据仓库的设计是面向主题的,通过数据联机分析OLAP将数据转化为信息;数据库中保存的是当前数据,无法进行历史趋势分析,数据仓库同时提供当前数据和历史数据,并可作出历史趋势变化分析。 本文以香港国际货运码头HIT(Hongkong International Terminal)和深圳盐田国际集装箱码头YICT(YanTian International Container Terminal)的数据仓库项目为背景,主要阐述EDR系统的原理和实现机制。EDR(Enterprise Data Repertory企业数据仓库存储)系统主要功能就是如何在收集各种数据和信息的基础上,对数据进行提取、清理、转换和合成,将各种源数据经EDR系统处理后存储到数据仓库中。 本系统包含客户端和服务器端两个部分。客户端功能是实时监控系统运行状况,设置系统运行参数。服务器端程序是一系列在后台运行的线程,负责维护连接源数据库和目标数据库的连接,从数据源中抽取数据,根据数据仓库的设计要求,对数据进行重新组织和加工,加载到数据仓库的内部数据库中。本文详细论述了服务器端程序的实现原理和解析了实现代码,以及相关的数据库结构,讨论了EDR系统的安全机制,并结合HIT和YICY的实际应用,简要介绍了数据仓库技术在企业中的应用。 本系统对码头的业务管理、资源的合理分配使用等起到了关键作用,为决策者提供各种类型的分析数据,对企业决策者起到了决策支持智囊团的作用。

论文目录

• 第1章 绪论
• 1.1 课题来源
• 1.2 课题的研究意义
• 1.3 数据仓库及其发展状况
• 1.3.1 数据仓库的概念
• 1.3.2 数据仓库的发展状况
• 1.4 论文的研究内容
• 1.5 论文的体系结构
• 1.6 小结
• 第2章 EDR系统的原理
• 2.1 数据仓库建设的基本原则
• 2.2 数据仓库建设的基本方法
• 2.3 数据仓库建设要注意的问题
• 2.3.1 保证数据的一致性
• 2.3.2 提高查询处理速度
• 2.3.3 提高数据装载效率
• 2.4 数据仓库的体系结构
• 2.5 数据仓库的开发
• 2.6 EDR的体系结构
• 2.7 数据仓库的主题划分
• 2.8 EDR中依赖关系的维护和管理
• 2.9 EDR的处理流程
• 第3章 EDR系统的实现
• 3.1 系统运行环境
• 3.2 客户端实现
• 3.2.1 System Parameters List
• 3.2.2 Task List
• 3.2.3 Job List
• 3.2.4 Job Dependencey List
• 3.2.5 Jobs Monitoring
• 3.3 服务器端实现
• 3.3.1 数据库连接方式
• 3.3.2 系统设置
• 3.3.3 调度类的分析
• 3.3.4 EDR系统运行的前提
• 3.3.5 EDR的数据模型简介
• 3.3.6 EDR系统数据抽取的实现
• 3.3.7 EDR系统对源数据的分析整理
• 3.3.8 EDR系统的数据分析
• 3.4 实体化视图的使用
• 第4章 EDR系统的安全策略
• 4.1 安全域
• 4.2 EDR系统的安全设置
• 第5章 码头对数据仓库的应用
• 第6章 结束语
• 参考文献
• 附录
• 致谢