模糊、动态多维数据建模理论与方法研究

论文摘要

多维数据模型的研究为数据仓库技术与OLAP技术的广泛使用提供了基础支撑,具有重要的理论与实践价值。在多维数据模型中,维是一个非常重要的概念,由于其具有一定的层次结构,允许人们用不同的粒度对所关心的事实进行分析。现有的多维数据模型中,维的层次结构建立在完全划分的基础上,具有层次清晰、结构稳定的特性。但现实世界中,描述客观事物的信息往往是不确定、模糊的,而且客观事物本身又是动态演变的,从而难以基于静态的、界线分明的完全划分建立那种层次清晰、结构稳定的分析维模型。为此,本论文以模糊、动态条件下多维数据建模为研究目的,提出支持模糊维的多维数据模型和基于聚类的模糊维构建方法;提出连续数据流的多层次滑窗模型,设计连续数据流的在线聚集算法;提出数据流动态多维数据模型及其在线多维聚集方法。论文的主要工作和创新体现为以下四点:1.基于模糊商空间理论,提出了模糊多维数据模型通过引入模糊等价关系,提出了一种支持非完全划分的模糊维结构模型。与普通维相比,本文提出的模糊维主要在两个方面进行了扩展:一是扩展了两个维级别间的元素聚集关系?λ,支持依λ参数的元素聚集操作;二是在级别内部建立了元素聚集关系λ,支持级别内分层递阶结构上的元素聚集操作。而且这种扩展具有兼容性,即普通维可以作为模糊维的一个特例。在模糊维的基础上,论文给出了模糊多维数据模型、模糊数据立方体、聚集操作,以及上钻、下钻、选择、投影、切片和切块等基本OLAP分析操作的形式化描述。采用模糊粒度计算理论与方法对模糊聚集问题进行了深入的分析,提出了三种处理方法:保守法、乐观法和元素导出集法。与有关多维数据模型相比,本文提出的模糊多维数据模型突破了传统多维数据建模理论的局限,对非确定性、模糊多维数据分析问题,具有较强的描述与建模能力。2.提出了基于聚类的模糊维构建方法针对模糊等价关系难以确定的实际问题,论文根据对象集合的规模大小,分别提出了基于模糊聚类的模糊维构建方法和基于相对密度聚类的模糊维构建方法;同时,提出了基于相对密度的聚类算法,该算法能在不同参数下得到比较稳定的聚类结果,即聚类结果对参数设置不过于敏感,而且高密度的类簇能从相连的低密度的类簇中识别出来,从而可得到多密度分辨率的聚类结果。3.提出了数据流多层次窗口模型和在线聚集算法在数据流处理过程中,一般对最近时段的信息要求比较详细,而对较远时段的信息往往只需概貌。为此,论文提出了一种多层次时间窗口模型,能支持在不同时段对数据流进行不同时间粒度的建模;设计了多粒度聚集树结构和过期数据的金字塔快照存储结构;提出了数据流在线聚集与近似查询算法,通过性能分析可知,无论在存储空间还是处理时间上都能满足数据流在线聚集与查询分析的苛刻要求,从而有效地解决了有限时空条件下的数据流聚集与查询问题。4.提出了数据流动态多维数据模型及其在线多维聚集方法基于多层次时间窗口模型的时间维模式,提出了数据流动态多维数据模型。与一般数据仓库的多维数据模型相比,数据流动态多维数据模型的突出优点在于能支持时间维的跨度无限性和数据集的动态变化性。数据流时间维的跨度无限性决定了任何存储系统都难以保存整个时间域的所有数据粒子,因此,多层次时间窗口模型是数据流时间维建模的必然选择;而数据集变化的快速性和持续性决定了数据流多维数据模型应支持在线的多维聚集。由于数据流观测属性的表征性、细节性和技术性等特征,使得数据流多维联机分析处理中的维度选择与构建十分困难。论文提出了支持数据流维度动态建模的在线聚类算法;设计了支持数据流在线聚类与多维聚集的数据结构;提出了数据流基本单元的在线聚集物化方法。论文在模糊、动态多维数据建模理论和方法方面的研究,对于促进数据仓库技术、OLAP技术和数据挖掘技术的紧密集成和广泛应用具有一定的理论和实践意义。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 数据仓库技术
• 1.1.2 联机分析处理技术
• 1.1.3 多维数据模型
• 1.1.4 论文研究的项目支撑
• 1.2 相关技术及国内外研究现状
• 1.2.1 普通多维数据模型
• 1.2.2 多维数据聚集技术
• 1.2.3 模糊粒度计算理论
• 1.2.4 连续数据流的管理与分析
• 1.3 论文的研究内容与主要工作
• 1.3.1 研究思路及主要研究内容
• 1.3.2 论文的主要工作和主要创新点
• 1.4 论文组织结构
• 第二章 支持模糊维的多维数据模型
• 2.1 多维数据模型概述
• 2.1.1 多维数据模型基本概念
• 2.1.2 基本分析操作
• 2.2 普通维结构的形式化描述
• 2.3 模糊维结构的多维数据模型
• 2.3.1 模糊维
• 2.3.2 模糊维结构多维数据模型
• 2.4 OLAP分析操作
• 2.5 模糊聚集问题及处理
• 2.5.1 元素部分聚集问题
• 2.5.2 模糊聚集处理方法
• 2.6 与已有工作的比较分析
• 2.6.1 扩展多维数据模型
• 2.6.2 空间多维数据模型
• 2.6.3 复杂多维数据模型
• 2.7 本章小结
• 第三章 基于聚类的模糊维构建方法
• 3.1 基于模糊聚类的模糊维构建
• 3.1.1 建立对象间模糊相似关系
• 3.1.2 计算模糊等价闭包
• 3.1.3 形成模糊维层次结构
• 3.1.4 建立元素聚集关系
• 3.2 基于相对密度聚类的模糊等价关系构建
• 3.2.1 有关相对密度的概念
• 3.2.2 基于相对密度的聚类算法
• 3.2.3 建立模糊等价关系
• 3.2.4 聚类算法的增量式扩展
• 3.3 实验分析
• 3.3.1 实验条件
• 3.3.2 算法RDBClustering聚类实验
• 3.3.3 模糊等价关系的构建实验
• 3.4 本章小结
• 第四章 数据流多层次窗口模型及在线聚集方法
• 4.1 数据流管理与分析的难点
• 4.1.1 传统数据管理和数据流管理的比较
• 4.1.2 数据流处理的典型模型
• 4.2 多层次时间窗口模型
• 4.2.1 相关定义
• 4.2.2 多层次时间窗口模型
• 4.3 过期数据的金字塔快照存储结构
• 4.4 数据流的在线聚集与近似查询
• 4.4.1 数据流多粒度聚集树结构
• 4.4.2 数据流多粒度聚集树在线聚集算法
• 4.4.3 基于多粒度聚集树的数据流近似聚集查询
• 4.5 性能分析
• 4.5.1 存储空间
• 4.5.2 处理时间
• 4.5.3 查询结果精度
• 4.6 本章小结
• 第五章 数据流动态多维数据模型及多维聚集方法
• 5.1 数据流多维数据模型
• 5.2 基于先验路径的数据流多维聚集
• 5.2.1 相关概念
• 5.2.2 基于多维聚集树的在线聚集算法
• 5.3 基于模糊聚类的数据流基本单元物化方法
• 5.3.1 基于相对密度的数据流模糊聚类算法
• 5.3.2 基于模糊聚类的基本单元物化方法
• 5.3.3 数据流聚集查询的非精确程度
• 5.4 实验分析
• 5.4.1 实验条件
• 5.4.2 算法RDFCluStream实验分析
• 5.4.3 在线同步聚类聚集的时间分析
• 5.5 本章小结
• 第六章 结论与展望
• 6.1 论文主要贡献
• 6.2 进一步的工作
• 致谢
• 参考文献
• 作者在学期间取得的学术成果
• 作者在学期间参与的科研项目及所获科研奖项