ETL技术在实现数据分析系统中的应用研究

论文摘要

数据仓库已成为解决金融行业中大量业务数据处理、汇总和分析的一种重要技术,而ETL （Extract-Transform-Load）过程在数据仓库的应用中起着关键作用。利用ETL过程可以把各个孤立的异构数据源中的业务数据抽取、转换并装载到数据仓库中,为基于数据仓库的决策分析应用提供高质量的数据。本文作者的主要研究工作如下：1)研究了ETL过程中关于数据抽取,数据转换和数据加载的相关技术与方法。2)使用J2EE实现了一个具有并行处理能力、支持多种数据源、任务配置灵活和易扩展的ETL过程。3)针对金融行业数据量大的特点,通过在ETL过程中使用集群、负载均衡和Oracle RAC （Real Application Cluster）三种并行处理技术提高系统性能。4)根据证券风险控制系统中提出的业务需求,给出集群环境下ETL的系统架构,以及ETL系统中关于数据抽取,数据转换和任务管理主要模块的设计方案；5)对负载调度,任务管理和调度执行的实现进行了详实描述,并给出主要数据模型和关键类。本文作者参与设计和实践的ETL系统已成功上线,运行平稳,处理效率显著提高。实践证明结合并行处理和集群负载均衡技术是提高ETL性能的一种较好和可行的技术解决方案。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景及意义
• 1.2 国内外的研究现状
• 1.2.1 国外研究现状
• 1.2.2 国内研究现状
• 1.3 本文主要研究内容
• 1.4 本文的组织结构
• 第2章 ETL相关理论研究
• 2.1 数据仓库技术
• 2.2 元数据
• 2.3 ETL技术分析
• 2.3.1 数据抽取
• 2.3.2 数据转换
• 2.3.3 数据加载
• 2.4 并行技术在ETL中的应用
• 2.4.1 集群
• 2.4.2 负载均衡
• 2.4.3 Oracle RAC
• 2.5 本章小结
• 第3章 证券风险控制系统中ETL架构设计
• 3.1 设计目标
• 3.2 设计原则
• 3.3 ETL架构设计
• 3.4 ETL模型设计
• 3.4.1 数据抽取
• 3.4.2 数据转换
• 3.4.3 任务管理
• 3.4.4 并行ETL过程
• 3.5 本章小结
• 第4章 ETL技术实现
• 4.1 负载调度实现
• 4.2 Quartz的开源框架
• 4.3 任务管理
• 4.3.1 数据源
• 4.3.2 任务设置
• 4.3.3 调度执行
• 4.4 ETL在证券风险控制系统中的应用
• 4.4.1 ETL处理流程
• 4.4.2 Excel抽取举例
• 4.4.3 风险控制系统展现
• 4.5 本章小结
• 第5章 实验与分析
• 5.1 集群环境部署
• 5.1.1 集群搭建的实验环境
• 5.1.2 配置Master负载均衡服务器
• 5.1.3 配置Web服务器
• 5.1.4 配置高可用的集群环境
• 5.1.5 在Web服务器上部署ETL过程
• 5.2 ETL的比较分析
• 5.3 本章小结
• 第6章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 攻读学位期间的研究成果目录
• 致谢