人工免疫算法在反垃圾邮件技术中的应用

论文摘要

人工免疫系统是当前计算智能领域的新兴研究热点,其应用领域包括工业控制、模式识别、经济管理、计算机网络安全、反垃圾邮件等。近年来,由于生物免疫系统集成了邮件过滤器必需的优良特性,而人工免疫系统能够较好地从生物免疫中继承、发展这些特性,优于其他智能系统,体现出人工免疫原理与反垃圾邮件技术的结合的天然优势。将人工免疫原理及其算法应用到邮件过滤技术中能够提供比传统方法更为广泛的多样性、模式识别能力、自适应性和容噪性。人工免疫算法逐渐成为反垃圾邮件技术中的应用热点。本文以人工免疫系统原理和算法为研究对象,探索人工免疫算法在反垃圾邮件技术中的应用。首先对反垃圾邮件技术以及人工免疫系统原理进行总结归纳,并对电子邮件的基本理论、人工免疫的生物学背景和传统的反垃圾邮件技术进行了简要的介绍。以一个客户端的垃圾邮件过滤系统为平台,设计人工免疫原理的垃圾邮件过滤器,并详细研究与分析了人工免疫算法和IP-ISF算法在其中的应用。并进一步深入研究IP-ISF算法在检测效率稳定性方面地问题,提出了改进方案,最后通过改进算法的实现与测试结果分析验证了算法改进的有效性。最后提出了基于人工免疫算法的Outlook客户端垃圾邮件过滤插件的设计方案。本文的应用研究成果对人工免疫算法在其他应用领域,如垃圾短信的过滤等提供了借鉴和参考。本文的研究重点是人工免疫算法及在垃圾邮件过滤中的应用,给出了基于人工免疫原理的邮件过滤器的设计与实现机制,对IP—ISF免疫算法的应用进行了研究,详细分析了邮件社区基因库、特征检测器等算法模块的应用与实现。对基于人工免疫原理的邮件过滤器的设计和算法流程进行了探索,对实验结果进行了对比分析。本文的研究难点是,由于动态数据环境下IP-ISF垃圾邮件分类算法的正确检测率的不稳定性,既需要针对新特征类型提高初次检测的效率,又应针对旧有特征保存已有的优势基因,所以提出免疫优势位点演化来提高新生成特征检测器的检测效率,增强演化的方向性,提高准确识别的稳定性。并利用公共语料库进行测试,通过测试结果证明改进算法有效地增加了动态数据环境下正确检测率的稳定性,验证了本文所作的研究工作的有效性和可行性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.1.1 人工免疫系统研究现状
• 1.1.2 反垃圾邮件技术发展趋势
• 1.1.3 人工免疫原理与反垃圾邮件技术的结合
• 1.2 课题背景及意义
• 1.3 本文工作
• 1.4 本文的研究内容及安排
• 第二章 电子邮件与反垃圾邮件技术
• 2.1 电子邮件与垃圾邮件
• 2.1.1 电子邮件工作原理
• 2.1.2 电子邮件安全缺陷分析
• 2.1.3 垃圾邮件概述
• 2.1.4 反垃圾邮件技术发展阶段
• 2.2 基于信件源的垃圾邮件阻断及过滤技术
• 2.2.1 实时黑名单RBL
• 2.2.2 发送者政策框架SPF
• 2.2.3 域名密钥技术Domain Keys
• 2.2.4 SMTP交互行为的检测
• 2.2.5 DNS反向验证技术
• 2.3 基于内容的邮件过滤
• 2.3.1 基于规则的内容过滤
• 2.3.2 基于统计的内容过滤
• 2.3.3 基于计算智能的内容过滤
• 2.4 实验语库和评价标准
• 2.4.1 Ling-Spam语料
• 2.4.2 PU1语料
• 2.4.3 Spam Assassin语料
• 2.4.4 Spambase语料
• 2.4.5 2005 TREC公共语料集
• 2.4.6 评价体系
• 2.5 贝叶斯算法
• 2.5.1 贝叶斯算法概述
• 2.5.2 贝叶斯分类算法过滤垃圾邮件
• 2.5.3 贝叶斯算法性能评价
• 2.6 小结
• 第三章 垃圾邮件过滤系统平台
• 3.1 系统总体设计
• 3.1.1 系统概述
• 3.1.2 技术方案
• 3.1.3 系统框架
• 3.1.4 软件流程图
• 3.2 系统详细设计
• 3.2.1 邮件收取模块
• 3.2.2 系统训练模块
• 3.2.3 测试/邮件过滤模块
• 3.2.4 界面/学习模块
• 3.3 系统集成及测试
• 3.4 小结
• 第四章 AIS原理与人工免疫算法
• 4.1 人工免疫系统概述
• 4.1.1 人工免疫系统的定义
• 4.1.2 免疫系统基本概念
• 4.1.3 AIS发展历史与研究现状
• 4.2 仿生原理
• 4.2.1 免疫识别
• 4.2.2 免疫学习
• 4.2.3 免疫记忆
• 4.2.4 克隆选择
• 4.2.5 免疫多样性与分布性
• 4.3 人工免疫算法
• 4.3.1 一般选择算法
• 4.3.2 阴性选择算法
• 4.3.3 克隆选择算法
• 4.3.4 动态克隆选择算法
• 4.3.5 IP-ISF算法
• 4.3.5.1 邮件社区概念
• 4.3.5.2 算法框架流程
• 4.3.5.3 预处理与亲和度
• 4.3.5.4 算法的其他处理环节
• 4.4 小结
• 第五章 人工免疫算法在垃圾邮件过滤系统中的应用
• 5.1 基于人工免疫原理的垃圾邮件过滤器设计
• 5.1.1 基本设计思路
• 5.1.2 过滤系统实现机制
• 5.1.3 应用实现
• 5.2 IP-ISF算法在系统中的应用
• 5.2.1 邮件社区的表示与划分
• 5.2.2 社区基因库的进化和特征检测器的成熟
• 5.2.3 邮件识别
• 5.2.4 适应性维护
• 5.3 实验结果分析
• 5.4 小结
• 第六章 基于免疫原理的IP-ISF算法改进
• 6.1 问题分析
• 6.2 改进措施与方法
• 6.2.1 初次检测效率收敛速度的提高
• 6.2.2 免疫优势位点块的动态确定
• 6.2.3 克隆变异与免疫优势位点块的结合
• 6.3 改进实现
• 6.3.1 检测器自体耐受与生命周期
• 6.3.2 改进IP-ISF垃圾邮件过滤算法
• 6.3.3 特征检测器生存周期内的演化
• 6.3.4 特征检测器检测流程
• 6.4 测试与结果分析
• 6.4.1 测试平台
• 6.4.2 改进算法的正确识别率
• 6.4.3 算法比较
• 6.5 设计Outlook客户端垃圾邮件过滤插件
• 6.5.1 Outlook插件开发技术分析
• 6.5.2 开发方案
• 6.5.3 性能优势
• 6.6 小结
• 第七章 总结
• 7.1 本文工作
• 7.2 未来工作
• 致谢
• 参考文献
• 攻硕期间的研究成果