基于流聚类的网络业务识别关键技术研究

论文摘要

随着互联网的快速发展,网络业务应用类型呈现百花齐放的状态。这在提高了社会效率和丰富了人们精神生活的同时,也使得网络环境更加复杂化,大量的P2P业务占据了带宽资源,造成网络拥塞,运营商服务质量降低,安全问题日益突出。因此,迫切地需要实施网络管理和监控,优化网络资源,解决安全问题,提高网络传输能力,并为网络规划和扩容提供科学依据。网络业务识别技术正是支持网络管理与监控的基础和有效手段。如今,过分依赖于端口和数据包负载的传统网络业务识别技术已经无法应对复杂的网络环境。基于数据挖掘的网络业务识别技术提取网络业务流的统计信息对其进行分类或聚类处理,更适用于对现今环境下复杂的网络业务流量进行识别,因此成为网络业务流识别的重点研究方向之一考虑到网络业务流的数据流特性,本文致力于数据流聚类算法和网络业务识别方案的研究,主要内容和创新点如下：网格时间权重阈值自适应的任意形状数据流聚类方法研究：网格技术具有处理快速且处理时间只依赖于网格划分粒度的优点。针对网络业务流的分布在数据空间中具有任意形状,以及其在时间和空间上的倾斜特性,本文提出一种基于网格的任意形状数据流聚类算法。该方法基于衰减函数提出了潜在密集网格和离群网格的概念,定义了具有自适应能力的网格时间权重阈值,即体现了网络业务流的时间倾斜分布特性,又考虑了其空间倾斜分布特性；设计了在线维护算法来周期性地对两类网格进行检查和更新,删除退化网格,提高了聚类时的存储效率和时间效率。实验证明,算法能够很好的从噪声数据中识别任意形状且具有空间倾斜分布特性的簇,对网络业务流数据具有较好的聚类质量和较快的聚类速度。基于网格密度的数据流演化聚类分析方法研究：在对网络业务流的分析研究中,运营商往往不仅想了解某个时刻下的网络业务流量特性,更想知道某个时间段或某两段时间内网络业务流特性如何变化。本文提出一种基于网格密度的数据流聚类算法,使用数据点密度系数处理网络业务流数据的时间倾斜问题,定义以网格密度为核心的网格特征向量以减少内存空间占用,使用金字塔时间框架技术按照一定规则保存在线维护的网格集合快照,以实现对当前数据的聚类、对当前时间段内数据的聚类,以及对某段时间内数据流演变特性的分析。实验表明,该算法具备良好的噪声健壮性,能够基于不同的用户请求产生任意形状的最终聚类簇,具有良好的数据流演化分析能力,对网络业务流具有较好的聚类质量和较快的处理速度。基于流聚类的半监督多级网络业务识别方案研究：网络业务流中长短流比例的不平衡及其各自的不同特性使得单一的网络业务识别方法无法全面地顾及所有的网络业务流量。本文对TCP协议和UDP协议承载的网络流使用不同长短流判别标准,综合多种识别技术,提出一种在线多级的网络业务分流识别体系,联合基于端口、数据包负载和数据挖掘的方法对短流进行多级识别,使用基于数据挖掘的方法对长流进行识别。对基于传统数据挖掘的识别方法进行分析,基于传统分类方法的网络业务识别技术受限于学习分类器时使用的训练数据集,不适用于实时变化的网络业务流识别；基于传统聚类方法的网络业务识别技术能够发现数据的自然特性簇,但是多次扫描数据集的方式同样不适用于动态网络业务流的识别,聚类簇的分析也是研究难点之一。在充分考虑网络业务流特性的基础上,本文提出一种基于流聚类的半监督网络业务识别方案。该方案使用双层处理框架,实现对在线实时网络业务流的一次扫描；将产生的微簇存储至离线的时间快照数据库并按照一定的规则维护。离线宏聚类根据用户请求选择聚类算法和数据,产生最终聚类簇。本文提出根据实时数据流建立定时更新和维护映射规则数据库的方法,通过其他识别技术识别抽样流并建立对应微簇与网络应用类型的映射对,以辅助识别聚类簇的网络业务应用类型。此外对长流引入子流概念,提取子流的属性特征,选择出最佳特征子集应用于识别方案中。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 引言
• 1.1 研究背景
• 1.1.1 互联网的发展现状
• 1.1.2 网络业务识别的意义
• 1.2 网络业务识别关键技术研究现状
• 1.2.1 基于端口的识别技术
• 1.2.2 基于数据包负载的识别技术
• 1.2.3 基于流统计信息的识别技术
• 1.2.4 基于数据挖掘的识别技术
• 1.3 现有技术面临的挑战
• 1.4 本文的主要工作
• 1.5 本文的组织结构
• 第二章 网络业务识别的背景知识
• 2.1 数据挖掘在网络业务识别中的应用
• 2.1.1 网络业务识别中的基本概念
• 2.1.2 网络业务识别的度量方法
• 2.1.3 基于数据挖掘的识别
• 2.2 数据挖掘方法概述
• 2.2.1 传统数据挖掘方法
• 2.2.2 数据流挖掘方法
• 2.2.3 传统数据挖掘和数据流挖掘的不同
• 2.3 其他识别方法
• 2.4 多种识别方法的对比
• 2.5 本章小结
• 第三章 网格时间权重阈值自适应的任意形状数据流聚类
• 3.1 引言
• 3.2 相关工作
• 3.2.1 基于传统聚类方法的网络业务识别
• 3.2.2 流聚类方法
• 3.3 问题分析和相关概念
• 3.3.1 问题分析及解决方法
• 3.3.2 相关概念
• 3.4 网格时间权重阈值自适应的流聚类算法
• 3.4.1 网格结构
• 3.4.2 自适应的网格时间权重阈值
• 3.4.3 在线网格维护算法
• 3.4.4 离线宏聚类算法
• 3.5 实验结果与分析
• 3.5.1 实验设置
• 3.5.2 实验数据集
• 3.5.3 实验结果
• 3.5.4 算法分析
• 3.6 本章小结
• 第四章 基于网格密度的数据流演化聚类
• 4.1 引言
• 4.2 相关工作和问题分析
• 4.2.1 相关工作
• 4.2.2 问题分析
• 4.3 基于网格密度的数据流演化聚类算法
• 4.3.1 基于数据点密度系数的网格结构
• 4.3.2 金字塔时间框架技术
• 4.3.3 在线维护算法
• 4.3.4 离线演化聚类分析
• 4.4 实验结果与分析
• 4.4.1 实验设置
• 4.4.2 实验结果
• 4.4.3 算法分析
• 4.5 本章小结
• 第五章 基于流聚类的半监督多级网络业务识别
• 5.1 引言
• 5.2 在线多级网络业务分流识别体系
• 5.2.1 长短流与子流的判定
• 5.2.2 多级网络业务分流识别体系设计
• 5.3 基于流聚类算法的半监督识别方案
• 5.3.1 设计目标
• 5.3.2 方案设计
• 5.3.3 模块功能描述
• 5.4 基于长流的子流属性特征提取与选择
• 5.4.1 实验数据说明
• 5.4.2 初始属性特征统计
• 5.4.3 特征子集选择
• 5.5 在线更新的簇映射规则
• 5.6 实验结果与分析
• 5.6.1 实验设置
• 5.6.2 实验结果
• 5.6.3 方法分析
• 5.7 本章小结
• 第六章 小结与展望
• 参考文献
• 致谢
• 攻读博士学位期间发表的学术论文