海量网络流实时处理的优化技术研究

论文摘要

入侵检测系统和防火墙技术是通用网络安全技术,国家主干网络的网络安全应用需要在高速环境下进行网络数据的深度检测,需要高性能的海量网络流实时处理技术作为支撑。随着宽带技术的发展与应用,网络带宽的增长速度已经超越了计算能力的增长速度,成为骨干网入侵检测系统（B-NIDS,Backbone Network Intrusion Detection System）面临的巨大挑战。本文以高速广域网环境下安全检测系统应用为背景,研究计算机体系结构相关的优化技术,包括,如何通过智能网卡提高收包能力,在多核平台下系统软件结构如何设计,怎样保证应用的服务质量等。本文的研究思路是借助计算机体系结构的新技术,解决骨干网入侵检测系统实际运行中的难题,从收包速率,吞吐率,响应时间和服务质量几个指标提高B-NIDS的性能。为了提高网卡的处理能力,缓解主机的性能瓶颈,本文设计实现了一个基于自主开发的智能网卡的TOE系统,实现了高速网络报文接收。在性能分析中,本文根据B-NIDS的特点测试了网络缓冲区不同分配方式下的接收性能和智能网卡的最大处理能力。实验结果表明,智能网卡提高了网络收包速率,在一些情况下甚至可以达到线速。本文从B-NIDS特征分析入手,重点研究与高效的资源管理和快速报文响应密切相关的负载和系统特征,以及相应的优化方法。针对大规模高速骨干网络流量特点,本文设计了一种负载特征分析方法,并基于分析结果给出了优化措施。本文还从节省CPU和内存资源的角度提出了系统优化方法。为了深入地研究单个连接和处理时间的关系,本文从大量流量记录文件中提取了流样本,建立了基准测试集。本文针对多核多线程平台研究了B-NIDS的优化技术。线程级并行体系结构是目前处理器体系结构发展的主要趋势,如何挖掘应用的并行性是面临的重要问题。在高度并行的平台上,优化研究内容包括工作流的深入分析,并发子任务划分,并行任务的负载平衡,并发任务的通信等。本文通过测试现有B-NIDS的性能瓶颈和分析数据流特点,提出了一种无锁队列的同步机制和适合多核平台的三级流水多线程软件模型。采用Sun SPARC T1架构8核32线程服务器从资源占用、吞吐率和响应时间三个方面进行了性能测试,并在曙光x86架构8处理器16核服务器上测试了系统的可扩展性。实验结果表明,系统各性能指标的优化效果明显,在不同多核平台上表现了良好的可扩展性。本文还研究了质量制导优化技术及其性能评价。现存的应用系统在骨干网大规模的流量下,很难保证海量TCP流处理的服务质量,一般采用尽力而为的服务策略。本文通过多队列调度策略可以优先处理用户预定义的TCP流,提高一些特征流的服务时间,从而提高服务质量。本文还提出了基于流速预测和一种过载时的QoS技术。针对应用系统连接数大,负载重和处理多样性的特点,性能评价采用了基于探针流的采样方法,准确测试了优先处理特定IP网段策略下服务质量的提高。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 NIDS 介绍
• 1.2 B-NIDS 的运行环境
• 1.3 B-NIDS 的协议处理
• 1.4 研究动机
• 1.5 本文的贡献
• 1.6 本文的组织
• 1.7 本章小结
• 第二章 背景和相关研究
• 2.1 高速NIDS 的关键技术
• 2.1.1 连接状态管理
• 2.1.2 用户状态管理
• 2.1.3 系统负载管理
• 2.1.4 程序错误调试
• 2.1.5 资源和检测率折中
• 2.1.6 典型系统
• 2.2 多核处理器的应用开发
• 2.2.1 CMP 的应用开发
• 2.2.2 NP 的应用开发
• 2.2.3 多核并行软件开发方法
• 2.3 TCP 协议处理的加速技术
• 2.3.1 TCP 处理主要开销
• 2.3.2 TCP 实现的优化技术
• 2.3.3 TCP 处理的优化技术
• 2.4 网络处理的 QoS 技术
• 2.4.1 Internet 流量特征
• 2.4.2 TCP 协议和FIFO 调度对小流的影响
• 2.4.3 基于大小的调度
• 2.4.4 Web 服务调度算法研究
• 2.5 本章小结
• 第三章 基于智能网卡的高速网络报文接收
• 3.1 研究动机
• 3.2 通用TOE
• 3.2.1 TOE 系统相关研究
• 3.2.2 TOE 存在的问题
• 3.3 基于智能网卡的TOE 设计
• 3.4 基于智能网卡的TOE 实现
• 3.5 接收驱动的优化
• 3.6 性能评价
• 3.6.1 实验负载
• 3.6.2 实验设计
• 3.6.3 实验结果
• 3.7 讨论
• 3.7.1 智能网卡加速报文接收
• 3.7.2 专用FPGA 加速卡
• 3.8 本章小结
• 第四章 基于特征分析的优化
• 4.1 概述
• 4.2 基于负载特征的优化
• 4.2.1 负载特征分析方法
• 4.2.2 负载特征分析结果
• 4.2.3 样本处理特征分析
• 4.2.4 可能的优化措施
• 4.3 基于系统资源的优化
• 4.3.1 内存资源
• 4.3.2 CPU 负载
• 4.4 构造基准测试集
• 4.4.1 样本库的建立
• 4.4.2 样本库的组成
• 4.5 本章小结
• 第五章 基于多核平台的优化与性能评价
• 5.1 现有软件的问题
• 5.1.1 现有软件设计
• 5.1.2 性能评价指标
• 5.1.3 现有软件的瓶颈
• 5.2 优化设计
• 5.2.1 数据流抽象
• 5.2.2 软件结构优化策略
• 5.2.3 改进的多线程结构
• 5.2.4 负载均衡优化策略
• 5.3 不同平台应用软件的实现
• 5.3.1 Solaris
• 5.3.2 Linux
• 5.4 多核多线程物理结构映射方法
• 5.4.1 共生技术
• 5.4.2 SMT 的可扩展性
• 5.4.3 线程间的共生映射方法
• 5.5 性能评价
• 5.5.1 实验设计
• 5.5.2 实验结果
• 5.6 可扩展性评价
• 5.7 本章小结
• 第六章 提高服务质量的优化
• 6.1 B-NIDS 的服务质量
• 6.2 质量制导机制的关键技术
• 6.2.1 预测机制
• 6.2.2 反馈机制
• 6.3 质量制导优化的设计与实现
• 6.4 基于流速预测的 QoS
• 6.5 过载时的 QoS
• 6.6 性能评价
• 6.6.1 探针流采样算法
• 6.6.2 实验模型和假设
• 6.6.3 实验平台
• 6.6.4 实验结果
• 6.7 本章小结
• 第七章 结束语
• 7.1 本文工作总结
• 7.2 下一步研究方向
• 参考文献
• 致谢
• 作者简历