数据流特征选择策略的研究

论文摘要

随着信息技术尤其是网络技术的发展,越来越多的应用领域,如网络监控、垃圾邮件分类、传感器网络等,需要对其以每天数以百万Gbit增长的流数据进行实时处理。由于流数据经常呈现高维性,包含着大量无关特征和冗余特征,当对其进行直接处理时,有可能极大地影响学习算法的效率。利用属性相关性进行特征选择,消除无关特征和冗余特征,可以提高挖掘算法的效率,改善精确性等学习性能。然而,数据流的实时性、无限性以及概念漂移特点,也对传统的特征降维算法提出了严峻的挑战。针对数据流的这些特点,寻找适合于数据流的数据结构,研究有效度量属性相关性的方法对流数据进行降维,这已经成为目前数据流研究的一个热点。首先,本文深入探讨了特征选择的相关技术,研究了现有的特征选择方法在属性相关性度量方面存在的不足,结合流数据实时性,无限性、概念漂移的特点,提出了一种基于拟合的数据流特征选择算法FSCFFR,该算法可以有效地消除流数据中的冗余特征,提高了学习算法的性能。其次,本文针对数据流实时性的要求,提出了采用并行计算进行数据流特征选择的实施策略,传统的串行处理速度受限于单处理器的最大物理处理速度,而并行计算可以通过多处理器联合在一定程度上克服这种处理瓶颈。本文采用管理者/工作者模型,并在MPI环境下设计实现了两种通信策略的并行算法,实验表明,利用并行计算可以有效地提高流数据特征选择的效率和速度。最后,为了验证特征选择在实际应用场景下的表现,本文将整个处理方法运用到网络入侵检测中,对网络入侵检测系统中的数据进行在线分析处理,从而利用实际的示例验证了特征选择算法的可行性和实用性。综上所述,本文对数据流中特征选择技术的研究具有一定的现实意义,它不仅能消除流数据中的冗余特征,减小空间需求,而且能够改善学习算法的性能,提高数据挖掘的效率。另外,本文的示例验证也对相关的应用具有一定的参考价值。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题背景
• 1.2 课题研究内容
• 1.3 课题研究意义
• 1.4 文章组织结构
• 第二章 相关研究及其现状
• 2.1 数据流上特征降维的应用
• 2.2 数据流的相关概念
• 2.2.1 数据流的定义
• 2.2.2 数据摘要技术
• 2.3 特征选择模型
• 2.3.1 过滤模型（ Filter Model ）
• 2.3.2 包裹模型（ Wrapper Model ）
• 2.3.3 混合模型
• 2.4 特征评价标准
• 2.4.1 一致性度量
• 2.4.2 相关性度量
• 2.5 本章小结
• 第三章 基于属性相关性的数据流特征选择算法
• 3.1 引言
• 3.2 相关定义及说明
• 3.3 基于曲线拟合的属性相关性特征选择算法FSCFFR
• 3.3.1 初始化阶段
• 3.3.2 删除数据阶段
• 3.3.3 增加数据阶段
• 3.4 实验分析
• 3.5 本章小结
• 第四章 基于FSCFFR的并行数据流特征选择算法
• 4.1 算法的工作模型
• 4.2 算法的数据划分与通信策略
• 4.2.1 数据划分
• 4.2.2 通信策略
• 4.3 算法的数据结构
• 4.4 算法描述和实验分析
• 4.4.1 算法描述
• 4.4.2 实验分析
• 4.5 本章小结
• 第五章 特征选择应用示例
• 5.1 引言
• 5.2 系统架构
• 5.3 实验
• 5.3.1 实验数据简介
• 5.3.2 数据特征描述
• 5.3.3 实验结果分析
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢