流数据挖掘在网络流量分析中的应用研究

论文摘要

随着互联网的快速发展,基于网络的各类应用越来越丰富,企业纷纷通过网络来拓展自身的业务范围。不断涌现的新型网络应用对网络带宽提出更多需求,网络性能备受关注。为了缓解网络资源与服务质量之间的矛盾,通过对网络流量进行深入分析,进而合理分配有限的网络资源成为当前研究的热门问题。传统的网络流量分析主要采用了数理统计方法,不能适应当今网络各种复杂应用的情况。为此,本论文结合网络流数据的特点,将流数据挖掘理论引入到网络流量分析当中。繁杂的网络流数据往往是各种网络应用在使用过程中的一种融合过程,从中发掘出各种应用的联系,找到频繁出现的各种网络流量就能直观地掌握网络的运行状况,从而为网络管理和资源分配提供依据。本文主要完成了如下工作:（1）研究网络流量的形成模式及其特点,讨论典型网络流的区别和分类方法。分析目前网络流量分析方法的主要特点,重点讨论流数据挖掘理论在网络流量分析中应用的可行性。（2）分析多种频繁项集挖掘算法以及多层次关联规则挖掘技术,针对传统算法在时间和空间复杂度过大不适合流数据挖掘的不足,融合滑动窗口与衰减窗口两者的优点,提出一种基于字典顺序前缀树LOP-Tree的频繁项集挖掘算法STFWFI,有效降低了频繁项集挖掘的时间和空间复杂度。提出一种基于统计分布的节点权值计算方法SDNW,提高了网络流节点的估值精度。基于以上频繁项集的挖掘结果,采用多层次关联规则的挖掘方法对网络流量应用的关联规则和网络流量负载的相关性进行分析。（3）在Windows平台下利用网络开发包Winpcap进行网络流数据的采集处理。基于数据挖掘开源平台Weka上实现分析模型中核心挖掘算法,并完成原型系统。通过挖掘频繁的网络流,生成符合分析目标的多层次关联规则,计算各类网络流之间的负载相关性系数,从而验证论文理论方法的有效性。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 课题意义
• 1.4 论文主要工作及结构
• 2 网络流量分析理论基础
• 2.1 网络流量分析基础概念
• 2.1.1 网络体系结构概述
• 2.1.2 网络流量概念
• 2.1.3 网络流数据采集方法
• 2.1.4 网络流量特点
• 2.2 网络流量分类
• 2.2.1 网络流量划分
• 2.2.2 网络流量典型分类算法
• 2.3 网络流量分析方法
• 2.3.1 统计分析方法
• 2.3.2 SNMP 分析方法
• 2.3.3 基线预测分析方法
• 2.4 本章小结
• 3 网络流数据挖掘技术研究
• 3.1 数据挖掘概念
• 3.2 网络流数据分析模型概述
• 3.2.1 网络流数据概念
• 3.2.2 网络流数据模型划分
• 3.3 网络流数据处理技术概述
• 3.4 流数据挖掘技术研究
• 3.4.1 单条数据流挖掘技术
• 3.4.2 混合数据流挖掘技术
• 3.5 多层次关联规则挖掘技术
• 3.5.1 关联规则基本概念
• 3.5.2 挖掘多层次关联规则
• 3.6 本章小结
• 4 基于流数据挖掘的网络流量分析模型设计
• 4.1 网络流量分析处理过程
• 4.2 流量分析模型整体结构
• 4.3 网络流量统计分析
• 4.4 挖掘网络流频繁项集方法设计
• 4.4.1 挖掘算法处理过程及概念定义
• 4.4.2 基于字典顺序前缀树LOP-Tree 设计
• 4.4.3 基于统计分布的节点权值计算方法SDNW 设计
• 4.4.4 频繁项集挖掘算法STFWFI 设计
• 4.5 挖掘多层次网络流关联方法设计
• 4.5.1 网络流量应用关联规则
• 4.5.2 网络流量负载相关性分析
• 4.6 本章小结
• 5 网络流量数据挖掘分析原型系统实现
• 5.1 原型系统实现技术
• 5.1.1 系统开发环境及工具介绍
• 5.1.2 Winpcap 开发包介绍
• 5.1.3 数据挖掘平台Weka 介绍
• 5.2 系统平台体系结构
• 5.3 原型系统具体实现
• 5.3.1 数据采集与处理模块设计与实现
• 5.3.2 统计分析模块设计与实现
• 5.3.3 频繁项集挖掘模块设计与实现
• 5.3.4 关联规则挖掘模块设计与实现
• 5.3.5 负载相关性分析模块设计与实现
• 5.4 实验及结果分析
• 5.4.1 实验环境
• 5.4.2 实验过程分析
• 5.5 本章小结
• 6 结论与展望
• 致谢
• 参考文献
• 附录
• 作者在攻读学位期间发表的论文目录