气象数据仓库设计与实现

论文摘要

本文是一个数据仓库工程项目，文中集中讨论了一个气象数据仓库的设计和实现过程。本文的数据仓库设计和实现都基于ORACLE 10g的数据库服务器和OWB(ORACLE Warehouse Builder)。文中首先讨论了气象雷达扫描数据和地面自动站测量数据的数据结构。然后给出了气象数据仓库的设计和实现过程。项目的主要工作集中在数据的抽取、转换、加载的过程(ETL)上。在数据清洗阶段采用了空间插值的方法，并给出了距离权重反比法进行空间插值的一个改进方法，使这种方法可以处理具有空间特征的空间数据，实践证明该方法对雷达数据的处理具有较好的适应性和精确度。在雷达数据的异常数据检测中给出了一种基于规则引擎的方法，改进了已有方法的每次处理一条记录而不能处理位置相关性很强的空间数据的缺点。在数据转换阶段采用pl／sql存储过程和JAVA语言结合编程的方式，立足于工程的需要，着重处理数据的时空一致性，完成了数据的转换和加载。最后，对建成的数据仓库进行了存储优化和查询优化，使新建成的数据仓库成为一个实用、高效的系统。为项目后续进行数据的OLAP分析和数据挖掘提供了一个基础数据平台。

论文目录

• 摘要
• Abstract
• 第一章 源数据分析
• 1. 项目背景
• 2. 源数据结构分析
• 2.1 地面自动站数据资料——A文件
• 2.2. 雷达扫描数据资料
• 第二章 气象数据仓库逻辑设计
• 1. 为什么需要气象数据仓库
• 2. 逆规范化理论
• 2.1 问题的提出
• 2.2 逆规范化理论的主要内容
• 3. 星型模式设计
• 3.1 设计主题
• 3.2 气象数据仓库的体系结构
• 第三章 气象数据仓库物理实现
• 1. ETL过程
• 1.1 如何确定ETL的范围
• 1.2 ORACLE WAREHOUSE BUILDER——OWB
• 2. 数据抽取
• 3. 数据清洗
• 3.1 雷达数据缺测值的处理
• 3.2 雷达数据异常值的处理策略
• 3.3 地面自动站数据
• 4. 数据转换
• 4.1 数据转换概述
• 4.2 项目数据转换分析以实现
• 5 元数据管理
• 5.1 概述
• 5.2 ETL过程与元数据的关系
• 5.3 元数据管理的CWM标准
• 5.4 气象数据仓库中的元数据管理
• 第四章 气象数据仓库查询与存储优化
• 1. 共享池
• 2. 索引机制
• 3. 其他优化措施
• 3.1 基于表空间的优化
• 3.2 只读表空间
• 3.3 临时表空间
• 3.4 散列连接处理
• 3.5 主管程序
• 4. 并行性
• 5. 数据分区
• 6. 备份与恢复
• 6.1 概述
• 6.2 具体备份策略
• 第五章 结论与未来工作
• 1. 结论
• 2. 未来工作
• 2.1 ORACLE数据挖掘
• 2.2 决策树算法
• 参考文献
• 致谢