基于马尔可夫逻辑网的垃圾邮件过滤技术研究

论文摘要

上个世纪八十年代,电子邮件开始在全球范围内广泛使用。其快捷、方便、廉价的特点,受到了广大网民的喜爱。伴随着互联网的大规模普及,电子邮件逐渐成为一种常用的通信方式。无论个人通信,还是企业交流,电子邮件都占有一席之地。电子邮件在给人们带来了方便的同时,也产生了麻烦。许多广告商利用其方便廉价的特点,在网络上大规模的发送垃圾邮件,给人们的生活带来了诸多不便。许多欺诈性质的垃圾邮件甚至给人们造成了巨大的损失。如何过滤垃圾邮件成了互联网上一个公共的话题。从垃圾邮件过滤技术的历史发展来看,先后出现了基于关键字符、基于黑白名单以及基于规则和内容等过滤方法。这些方法各有优缺点。在一定的应用范围内,都可以表现出比较好的性能。但是,垃圾邮件的发送者为了能够躲避这些过滤系统,制造了很多新型的垃圾邮件。这使得之前的方法不能够很好的适应。频频出现漏检、误检的现象。在全面吸取和借鉴目前的垃圾邮件过滤自适应性的最新科技成果上,本文深入研究了如何提高垃圾邮件过滤系统的自适应性。取得的主要研究成果如下:1、系统的总结了当前垃圾邮件过滤的主要技术,并对各种技术做了比较。分析各自的优缺点,指出基于马尔可夫逻辑网的自适应方法值得深入研究,是提高自适应性的重要手段。2、深入研究了马尔可夫逻辑网的相关理论。提出了如何将马尔可夫逻辑网的相关理论应用到垃圾邮件过滤中,提高其自适应性。并且就自适应界限问题做了严格的证明和验证。3、基于上述理论,实现了一个垃圾邮件过滤器,采集实际的数据集加以验证。通过与其他方法实现的过滤器的过滤效果进行对比,验证了本文方案的正确性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 国内外研究现状
• 1.2.1 垃圾邮件的历史
• 1.2.2 垃圾邮件的定义及组成
• 1.2.3 国内外反垃圾邮件的主要措施
• 1.3 存在的问题
• 1.4 研究内容和论文结构
• 1.5 本章小结
• 第2章 垃圾邮件过滤技术概述
• 2.1 电子邮件工作原理
• 2.2 电子邮件协议
• 2.2.1 SMTP 协议
• 2.2.2 POP3 协议
• 2.2.3 IMAP 协议
• 2.2.4 MIME 协议
• 2.3 垃圾邮件过滤技术简介
• 2.3.1 基于关键字符
• 2.3.2 基于白名单
• 2.3.3 基于黑名单
• 2.3.4 基于规则
• 2.3.5 基于内容
• 2.3.6 各种过滤技术对比
• 2.4 本章小结
• 第3章 基于马尔可夫逻辑网的自适应性理论研究
• 3.1 面向垃圾邮件的马尔可夫逻辑网研究
• 3.1.1 一阶逻辑
• 3.1.2 马尔可夫网
• 3.1.3 马尔可夫逻辑网
• 3.1.4 基于马尔可夫逻辑网的学习
• 3.1.5 马尔可夫逻辑网中的推断方法
• 3.1.6 垃圾邮件的马尔可夫逻辑网构建示例
• 3.2 基于迁移学习的自适应增强研究
• 3.2.1 基于自动映射和修正的深度迁移
• 3.2.2 基于二阶马尔可夫逻辑网的深度迁移
• 3.2.3 迁移后的马尔可夫逻辑网示例
• 3.3 本章小结
• 第4章 垃圾邮件过滤器自适应性界限的研究
• 4.1 引言
• 4.2 自适应性界限数学模型
• 4.3 源域误差与目标域误差的自适应界限
• 4.3.1 H 散度
• 4.3.2 用H 散度确定误差差异的界限
• 4.4 基于源域和目标域训练数据的自适应界限
• 4.5 垃圾邮件过滤中的自适应界限问题
• 4.6 本章小结
• 第5章 垃圾邮件过滤自适应性实验和结果分析
• 5.1 实验设计
• 5.2 实验环境
• 5.2.1 基本配置
• 5.2.2 软件及函数库简介
• 5.3 实验过程及结果分析
• 5.3.1 数据预处理
• 5.3.2 自适应垃圾邮件过滤器的构建
• 5.3.3 垃圾邮件检测
• 5.4 本章小结
• 结论
• 参考文献
• 攻读学位期间发表的学术论文
• 致谢