网络综合流量管理关键技术研究

论文摘要

近年来,随着用户数量和多种业务的急速膨胀,互联网呈爆炸性地增长,已发展成为国家政治、经济和社会生活的重要基础设施。互联网的性能及其运行稳定性成为了事关国家和社会发展的关键性问题。加强网络管理和提高网络性能已成为当务之急。网络综合流量管理研究流量采集、分析、优化的方法,其目的是实现网络流量的科学有效管理。网络综合流量管理是高性能协议设计、网络设备开发、网络规划与建设、网络管理与操作的基础,同时也是开发高性能网络应用的基础,开展网络综合流量管理关键技术研究具有重要的理论意义和实用价值。目前国内外研究人员针对网络流量管理展开研究工作,并取得许多有价值的研究成果。论文面向网络流量管理需求和特点,针对当前网络流量管理技术的不足,从流量数据采集、关键链路选择、关键流量矩阵选择、网络流量分配、网络异常流量检测、流量特征分析和综合流量管理原型系统实现等几个方面展开深入研究。主要完成了以下工作:（1）提出了两个大象流识别算法:Hits和Holds算法,克服了Estan等人提出的大象流识别算法随机丢弃报文带来采集数据不准确和需要同时多次访存无法实现高速实时数据采集的问题。Hits算法将流直接加入到流缓存表中并开始计数,当计数值超过阈值,则加入到流表中;对于在流缓存表中没有入口的报文,使用多级过滤器计数,如果多级过滤器中每一级过滤器均报超过阈值,则将该报文的流标志加入流表中。Holds算法设计了一种解决冲突问题的流缓存表,使用一级过滤器,实现报文的高速采集。论文对两个算法进行了详细描述,并对算法的有效性进行了理论分析,最后使用网络实际流量数据对算法进行了评估,与Estan等人提出的Sample and Hold及Multistage算法进行了比较。理论和实验表明Hits和Holds算法对网络大象流的误检率和漏检率均优于Sample and Hold及Multistage算法。（2）提出了一种基于主成分分析的网络关键链路发现算法PCAR及基于关键链路的网络拓扑优化算法BTop。PCAR算法通过分析网络流量的时间和空间的相关性来发现网络中的关键路径,BTop算法基于关键链路分析和图的顶点割来优化网络拓扑结构。论文用Abilene流量和拓扑数据验证了PCAR算法和BTop算法的有效性。（3）提出了关键流量矩阵发现算法MinMat。该算法引入信息熵和耗费函数等概念,先计算流量矩阵的信息熵并选取信息熵较大的若干个矩阵作为候选关键矩阵,而后对最小耗费的簇进行迭代合并,直到最后获得需要的流量矩阵。使用Abilene提供的网络流量矩阵进行实验,使用TOTEM模拟验证了MinMat算法选择结果的有效性。理论分析与实验表明MinMat比K-means、层次凝聚和CritAC具有更高的效率,选择结果具有更好的代表性。（4）提出了一种面向大象流的动态负载分配算法FEFDA。FEFDA算法采用Hits或holds算法识别长时效的大象流,对大象流采用动态最小负载分配,对小流负载进行静态分配方法,降低流抖动率和提高负载调度效率。使用NLANR数据对算法的有效性进行了评估。理论和实验表明:与传统流量分配算法相比,FEFDA具有更低的流抖动率和更好的负载均衡度。（5）提出了基于PCA和信息熵技术发现网络异常流量算法FilterA。FilterA结合报文统计信息和流的特征信息综合判断网络异常行为,同时提出使用均方差偏移作为判断异常的阈值,在保证准确性的前提下有利于提高判断速度。用校园网的真实流量数据对FilterA算法进行了测试,测试表明FilterA算法具有较低漏判率和误判率,检测方法简单,可以应用于对大规模网络流量进行异常检测。论文还使用R/S方法和聚类方差法对TOTEM公布的AS20965的流量、长沙电信骨干网流量及校园网流量进行了Hurst参数测定。实验显示:这些流量都具有自相似性,但Hurst指数各不相同,AS20965的流量具有更强的自相似性,而校园网流量的自相似性相对较弱一些。同时发现使用聚类方差法分析Hurst指数效果较差,存在较大误差。在上述研究基础之上,设计并实现了网络综合流量管理系统YHTMS。YHTMS实现了本文提出的网络综合流量管理的各种算法,YHTMS采用面向服务的体系结构,有利于实现管理控制与数据平面分离。论文重点阐述了YHTMS的总体结构、系统布署、数据处理流程、数据库设计、核心系统的调用和依赖关系,对实现技术进行了详细描述,最后展示了系统的运行效果。综上所述,本文的工作针对网络综合流量管理技术中的关键问题提出了有效的解决方案,对于推进网络综合流量管理技术的理论研究和实用化具有一定的理论价值和应用价值。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 网络综合流量管理简介
• 1.3 网络综合流量管理面临的挑战
• 1.4 需求分析
• 1.5 课题来源
• 1.6 论文工作及创新点
• 1.7 论文结构
• 第二章 相关技术与研究现状
• 2.1 流量测量基础设施及其体系结构
• 2.1.1 IETF 流量测量框架结构
• 2.1.2 NSF 的NIMI
• 2.1.3 Michigan University 的PMA
• 2.1.4 CAIDA 的CoralReef
• 2.1.5 GGF 的GMA
• 2.1.6 可自组织的网络测量基础设施
• 2.1.7 特点分析
• 2.2 流数据采集与挖掘技术
• 2.2.1 流数据采集
• 2.2.2 流数据采集的相关产品
• 2.2.3 流数据挖掘方法
• 2.3 网络性能测量方法和工具
• 2.3.1 网络性能测量测度
• 2.3.2 网络测量方法
• 2.3.3 测量工具
• 2.4 网络流量优化
• 2.4.1 网络探针布点算法
• 2.4.2 关键链路发现算法
• 2.4.3 流量矩阵估算算法
• 2.4.4 关键流量矩阵发现算法
• 2.4.5 流量动态负载均衡的算法
• 2.4.6 拥塞控制技术
• 2.4.7 网络路由优化技术
• 2.4.8 流量优化的一些最新研究进展
• 2.5 网络流量分析
• 2.5.1 网络流量异常检测
• 2.5.2 网络行为分析
• 2.6 小结
• 第三章 高速网络大象流识别算法Hits 和Holds
• 3.1 相关研究
• 3.2 Hits 和 Holds 算法的思想
• 3.3 Hits 算法
• 3.3.1 算法描述
• 3.3.2 数据处理过程
• 3.3.3 减少误报率措施
• 3.4 Hits 算法性能分析
• 3.4.1 Hits 算法性能初步分析
• 3.4.2 形式化分析
• 3.5 Holds 算法
• 3.6 Holds 算法分析
• 3.7 Hits 和Holds 与其它算法理论比较
• 3.8 Hits 和Holds 算法评估
• 3.8.1 算法的效果比较
• 3.8.2 阈值设置对算法的影响
• 3.8.3 误检率、漏检率的比较
• 3.9 小结
• 第四章 基于主成分分析的关键链路发现算法PCAR
• 4.1 相关研究
• 4.2 问题描述
• 4.3 PCAR 算法基本思想
• 4.4 PCAR 算法描述
• 4.5 模拟实验与分析
• 4.6 基于关键链路的网络拓扑优化算法
• 4.7 BTop 算法验证与评估
• 4.7.1 BTop 算法示例
• 4.7.2 Abilene 上的实验
• 4.8 小结
• 第五章 基于信息熵的关键网络流量矩阵发现算法MinMat
• 5.1 相关研究
• 5.2 问题的描述
• 5.3 MinMat 近似算法
• 5.4 算法有效性评估
• 5.5 小结
• 第六章 基于大象流的网络流量负载分配算法FEFDA
• 6.1 流量负载分配问题
• 6.2 流量分配算法问题描述
• 6.2.1 问题描述
• 6.2.2 评价指标
• 6.3 面向大象流的流量动态负载分配算法
• 6.3.1 算法主要思想
• 6.3.2 FEFDA 算法描述
• 6.3.3 大象流的判定
• 6.3.4 算法性能分析
• 6.4 算法评估
• 6.5 小结
• 第七章 异常流量检测算法与网络流量Hurst 参数的估算
• 7.1 基于主成分和信息熵检测网络异常算法FilterA
• 7.1.1 FilterA 算法思想
• 7.1.2 FilterA 算法描述
• 7.1.3 算法有效性评估
• 7.2 网络流量Hurst 参数的估算
• 7.2.1 网络流量Hurst 参数的估算方法
• 7.2.2 流量测量分析
• 7.3 小结
• 第八章 玉衡网络综合流量管理系统（YHTMS）的设计与实现
• 8.1 玉衡综合流量管理系统YHTMS 总体设计
• 8.1.1 逻辑结构图
• 8.1.2 YHTMS 功能模块
• 8.1.3 功能布署图
• 8.1.4 YHTMS 的物理布署图
• 8.1.5 流量数据查询数据处理视图
• 8.1.6 核心系统调用和依赖关系
• 8.2 YHTMS 主要流程
• 8.2.1 YHTMS 初始阶段的执行过程
• 8.2.2 YHTMS 在网络流量未发生剧烈变化的执行过程
• 8.2.3 YHTMS 在网络流量发生剧烈变化的执行过程
• 8.2.4 综合流量管理应用的一个实例
• 8.3 YHTMS 关键实现技术
• 8.3.1 性能数据相关数据库
• 8.3.2 流量数据展现
• 8.3.3 探针管理
• 8.4 系统运行效果
• 8.5 小结
• 第九章 总结与未来工作
• 致谢
• 参考文献
• 攻读博士学位期间发表的主要学术论文
• 攻读博士学位期间参与的科研工作和获奖情况