垃圾短信过滤系统的设计与实现

论文摘要

近年来,随着中国手机用户数的增长,手机短消息业务得到了迅猛发展,但同时垃圾短信也以非常快的速度在增长。目前,垃圾短信过滤技术主要有黑名单过滤、关键词过滤和基于文本分类的内容过滤。黑名单过滤和关键词过滤能快速的过滤垃圾短信,但其过滤的准确率不高;基于文本分类的短信过滤的准确率主要依赖于其训练样本的数量及质量,由于日常短信涉及个人的私隐,短信中心从不对外公布,现有的短信样本很少,因此单纯依靠文本分类的短信过滤其准确率也不高。同时,现有的过滤技术都采用逐条检测的方式,对于每天有大量短信息的短信中心来说,其运算量是很大的,这样会造成短信服务中心网络堵塞。因此,从现有的技术上来说,垃圾短信的过滤在准确率和效率方面仍然不能满足现实需要。本文将针对现有短信过滤技术的不足,研究有效的解决或改进的方法,同时引入新的技术与原有的过滤技术相结合,使垃圾短信过滤系统能够具有更好的过滤性能。本文所做的主要工作如下:1.研究了应用在垃圾短信过滤系统中的关键词查找算法,该算法采用WM算法的多模式匹配思想,通过预处理建立的哈希表来加快匹配速度,并且根据垃圾短信的特征,提出了用压缩存储的TRIE树来组织模式串的方法,加快了查找速度。2.分析了主要的文本分类技术,重点叙述基于最小风险的贝叶斯分类在短信过滤中的应用。3.提出用日志分析的方法来分析已经过滤的短信,提取有用的数据,更新关键词库及分类训练样本,实现系统的自我优化。4.将贝叶斯分类与新的过滤方法(包括流量检测、抽样检测、日志分析)结合,在保证短信过滤准确率的情况下,提高短信过滤效率。最后,给出整个垃圾短信过滤系统的设计与实现。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和研究意义
• 1.2 垃圾短信的定义
• 1.3 问题的研究现状
• 1.3.1 国内外垃圾短信整治状况
• 1.3.2 现有短信过滤方式
• 1.4 本文的研究内容
• 1.5 本文的组织结构
• 第二章 垃圾短信关键词过滤技术
• 2.1 现有关键词过滤技术
• 2.2 WM 算法简介
• 2.3 WM 算法的预处理
• 2.4 匹配过程
• 2.5 用TRIE 索引树组织模式串
• 2.5.1 索引树的数据结构
• 2.5.2 树的生成过程
• 2.5.3 树的生成过程
• 2.6 方案的扩展
• 2.6.1 压缩TRIE 索引树
• 2.6.2 拼音编码
• 2.6.3 关键词组合的过滤方法
• 2.7 本章小结
• 第三章 短信文本分类技术
• 3.1 文本分类简介
• 3.1.1 文本分类概述
• 3.1.2 中文分词
• 3.1.3 特征提取
• 3.1.4 分类的算法简介
• 3.2 贝叶斯分类算法
• 3.2.1 贝叶斯分类的基本原理
• 3.2.2 基于最小风险的贝叶斯决策
• 3.3 分类算法对比
• 3.4 本章小结
• 第四章 垃圾短信过滤系统的实现
• 4.1 系统的总体介绍
• 4.2 流量检测子系统
• 4.2.1 流量监测子模块
• 4.2.1 策略生成子模块
• 4.3 短信过滤子系统
• 4.3.1 黑名单过滤子模块
• 4.3.2 关键词过滤子模块
• 4.3.3 抽样过滤子模块
• 4.3.4 长度检测子模块
• 4.3.5 内容过滤子模块
• 4.4 日志分析子系统
• 4.4.1 日志预处理子模块
• 4.4.2 垃圾词提取子模块
• 4.4.3 社会网络分析子模块
• 4.5 实验与分析
• 4.5.1 实验环境与数据
• 4.5.2 实验评价标准
• 4.5.3 系统运行界面
• 4.5.4 实验结果与分析
• 4.6 本章小结
• 第五章 结论与展望
• 5.1 本文总结
• 5.2 进一步工作
• 致谢
• 参考文献
• 攻硕期间取得的研究成果