网络安全OLAP分析中数据立方体技术的研究与实现

网络安全OLAP分析中数据立方体技术的研究与实现

论文摘要

互联网正在成为国家关键信息基础设施,事关国家和全社会的根本利益。随着互联网技术的飞速发展,针对网络信息系统的恶意攻击正向着分布化、规模化、复杂化、间接化等趋势发展。因此迫切需要研究新的技术以实现对大规模网络信息系统的安全态势进行实时、准确的感知、监控和分析。如何在复杂的海量监测数据中对当前的网络安全状态进行获取、理解,发现潜在的变化趋势,从而把握大规模网络的宏观安全态势,是我们研究工作的出发点。联机分析处理(OLAP)技术是实现对大规模网络监测数据进行近实时综合分析的重要手段。OLAP通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入观察,具有极大的分析灵活性。数据立方体的有效计算是支撑OLAP分析的关键。只有预先计算数据立方体的全部或部分,才能大幅度降低查询响应时间,提供联机分析处理的性能。如何在存储容量、计算能力的限制下,寻找到计算部分数据立方体的可伸缩的办法,在数据立方体的时空开销和查询响应性能之间进行微妙的折中,是本文工作的核心问题。基于网络安全态势的感知、监控和分析对实时性的需求,本文研究了数据流上的联机分析处理。数据流上数据立方体的计算其时空条件更加苛刻,研究有限时空条件下数据流立方体的部分物化方法,是本文工作的重点。本文的主要工作概述如下:1.介绍了数据立方体的基本概念和模型定义,讨论了数据立方体的实现方案,对各种数据立方体计算算法做了总结和深入分析。2.分析了数据流上的联机分析处理的特点,总结了数据流立方体的设计需求,提出了多层次倾斜窗口模型,在有限的时空条件下通过时间维有效的压缩了数据流立方体的体积。3.提出了一种新的数据流立方体部分物化方法—基于Dwarf结构的多维数据流立方体框架StreamDwarf,并给出相应的计算算法,包括增量更新算法和查询算法,并对算法进行实现,给出实验测试结果。4.研究开发了基于StarOLAP平台的网络安全态势分析系统,实现了对海量网络安全监测数据的多维多层次、近实时的综合分析。

论文目录

  • 摘要
  • ABSTRACT
  • 第一章 绪论
  • 1.1 研究背景
  • 1.2 研究现状
  • 1.2.1 数据仓库和联机分析处理技术
  • 1.2.2 数据流处理技术
  • 1.2.3 网络安全态势感知技术
  • 1.3 论文结构
  • 第二章 基于数据仓库的数据立方体技术
  • 2.1 数据立方体模型
  • 2.1.1 数据立方体的概念
  • 2.1.2 数据立方体模型
  • 2.1.3 数据立方体的实现方案
  • 2.2 数据立方体计算技术
  • 2.2.1 完整数据立方体的优化计算
  • 2.2.2 计算冰山立方体
  • 2.2.3 压缩数据立方体
  • 2.3 物化视图选择技术
  • 2.3.1 物化视图与数据立方体
  • 2.3.2 基于效益的物化视图选择
  • 2.4 本章小结
  • 第三章 基于数据流的数据立方体研究
  • 3.1 数据流上的联机分析处理
  • 3.1.1 数据流联机分析处理的特点
  • 3.1.2 数据流立方体的部分物化
  • 3.2 数据流立方体模型
  • 3.2.1 相关定义
  • 3.2.2 多层次倾斜窗口模型
  • 3.2.3 数据流立方体模型
  • 3.3 基于DWARF 的数据流立方体计算
  • 3.3.1 StreamDwarf 定义
  • 3.3.2 StreamDwarf 计算
  • 3.3.3 算法实现与测试
  • 3.4 本章小结
  • 第四章 网络安全态势分析系统实现
  • 4.1 STAROLAP 体系结构
  • 4.1.1 StarOLAP 分层结构
  • 4.1.2 StarOLAP 实现框架
  • 4.1.3 存储和聚集策略
  • 4.2 系统关键设计
  • 4.2.1 数据立方体模型的构建
  • 4.2.2 系统性能优化
  • 4.2.3 StreamDwarf 模块的实现
  • 4.3 用户接口实现
  • 4.3.1 历史数据多维分析
  • 4.3.2 实时趋势分析
  • 4.4 本章小结
  • 第五章 总结与展望
  • 5.1 本文总结
  • 5.2 下一步研究
  • 致谢
  • 参考文献
  • 作者在学期间取得的学术成果
  • 相关论文文献

    标签:;  ;  ;  

    网络安全OLAP分析中数据立方体技术的研究与实现
    下载Doc文档

    猜你喜欢