垃圾邮件行为模式识别与过滤方法研究

论文摘要

电子邮件已经成为现代人际交流的一种最常见的方式。但是,SMTP(SimpleMail Transfer Protocol:简单邮件传输协议)协议的不完善,尤其是对电子邮件发送者没有做任何的身份鉴别和控制,使得垃圾邮件越来越泛滥。垃圾邮件过滤是个复杂的问题,虽然存在许多相关研究,也获得了很多成果,但是在技术上目前还没有哪一种方法能完美地过滤所有的垃圾邮件。随着伪装技术的发展,垃圾邮件也越来越隐晦,致使基于内容过滤的误判率也很高,而对大量疑似垃圾邮件,基于内容的过滤也耗费了大量的处理时间。因此,必须寻求新的方法和算法。提出了基于数据挖掘的行为识别垃圾邮件过滤系统框架。对采集的数据提取行为特征,并将行为特征分为会话行为特征、信头行为特征和统计行为特征,采用特征选择算法选择能够有效地预测训练数据类属性的特征,经数据预处理,从数据中挖掘出垃圾邮件行为判定规则的知识。提出了基于多级结构的垃圾邮件行为模式挖掘模型,针对不同类型的行为特征,采用不同的模式挖掘算法:对MTA(Mail Transport Agent:邮件传输代理)会话阶段的行为特征,提出了基于决策树的垃圾邮件发送行为识别模型。它不需要接收整封邮件,通过挖掘邮件会话过程中所表现出的行为特征,在会话阶段提前过滤掉垃圾邮件。对用户发送行为采用直方图距离法来检测异常用户发送行为。通过计算附件的指纹特征、统计特征,构建附件的特征向量,利用支持向量机模型来对垃圾邮件的附件行为建模。计算URL(uniform Resource Locator:统一资源定位)之间的相似度,构建包含相似URL的群组,通过计算样本与URL群组的最小距离并转换成分类输出的置信度来判别垃圾邮件行为。由于传统的贝叶斯垃圾邮件过滤在误判和漏判带来的损失方面没有进行关注,提出了一种贝叶斯算法的改进算法,引入了损失因子,在不降低正确率的情况下,使得垃圾邮件误判的风险减到最低。若选择合适的损失因子,正确率和召回率都能达到一个比较理想的效果。利用该算法将各模型判别结果关联起来,通过对联合贝叶斯模型和附件模型、发送发送行为模型、URL模型的性能比较,验证了改进的贝叶斯联合模型相对单个模型来说,能够较大地提高分类性能。提出了基于模糊决策树的分类方法。由于绝对明确的属性并不总是存在于现实世界中,属性隶属度能更自然和合理地描述行为特征,因此相对于清晰决策树来说,模糊决策树更适合。模糊决策树算法使得决策树学习的应用范围扩大从而能够处理不确定性,它合理地处理了学习和推理过程中的不精确信息,具有更强的分类能力及稳健性,由于能生成不同水平和不同置信度的规则,为决策者提供丰富的决策信息。设计了基于行为模式识别和其它过滤技术相结合的邮件过滤系统MailGate,并进行了原型实现。实验结果表明MailGate对垃圾邮件过滤的召回率和误判率能够达到较好的效果。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景
• 1.2 电子邮件系统的安全缺陷
• 1.3 反垃圾邮件国内外研究现状
• 1.4 评价体系
• 1.5 论文的主要研究内容
• 1.6 论文的组织结构
• 1.7 本章小结
• 2 基于数据挖掘的行为识别邮件过滤体系结构
• 2.1 基于行为的垃圾邮件过滤框架
• 2.2 邮件行为数据采集
• 2.3 行为特征提取
• 2.4 特征项选择
• 2.5 行为特征数据预处理
• 2.6 邮件行为模式挖掘
• 2.7 本章小结
• 3 行为特征分析与建模
• 3.1 引言
• 3.2 MTA会话行为模式挖掘
• 3.3 用户发送行为
• 3.4 URL模型
• 3.5 附件模型
• 3.6 最小风险贝叶斯算法的联合模型
• 3.7 本章小结
• 4 基于FDT算法的垃圾邮件过滤
• 4.1 引言
• 4.2 模糊逻辑与模糊决策树
• 4.3 基于FDT的分类
• 4.4 实验及结果
• 4.5 本章小结
• 5 MailGate邮件过滤系统设计与实现
• 5.1 引言
• 5.2 系统框架
• 5.3 模块设计
• 5.4 性能测评
• 5.5 本章小结
• 6 总结与展望
• 6.1 总结
• 6.2 研究展望
• 致谢
• 参考文献
• 附录1 攻读学位期间发表的论文目录和从事科研项目
• 附录2 攻读博士学位期间参加研究的科研项目