基于粗糙集理论的web信息过滤技术研究

论文摘要

随着社会的发展,互联网已成为信息传播和获取的重要平台,为我们进行信息交流提供了极大的便利。与此同时,互联网也成为发布虚假信息、滥发商业广告、随意侮辱他人、滥用信息技术、进行网络欺诈等犯罪行为滋生的载体,因此web信息过滤成为当前网络安全领域亟待解决的问题之一。考虑到web信息具有页面级数大、信息隐蔽等特点,本文采用粗糙集相关知识来解决web信息过滤的问题。按照信息过滤的流程,web信息过滤包括信息采集、构建用户需求模板、属性约简、规则提取、信息过滤以及主动学习等过程,本文对构建用户需求模板、属性约简及规则提取三个部分进行了重点研究。在样本选择过程中,传统的约简算法采用的样本实例数和维数通常较低,缺乏真实性,因此本文利用网络爬虫从互联网采集真实的页面作为算法的样本。在构造用户需求模板阶段,本文首先提出模糊分词思想并与过去的扫描分词法结合形成二次分词,从而更好地挖掘隐蔽的非法信息；其次为了缓解二次分词的较大系统压力,本文提出主从式分词系统,利用map/reduce思想将分词任务分解到多个子结点同时处理；最后整理TXT词汇文本构造向量空间模型。在属性约简阶段,针对样本信息量大且不同类别样本间特征离散严重等特点,本文提出了一种同属性约简算法；该算法构造特征矩阵,利用重叠率有效地达到降维目的。在规则提取阶段,分析前人算法并结合同属性约简算法得到的约简结果特点本文提出同值约简算法,该算法去除决策表中冗余属性值,并且去除其中的重复和蕴含关系得到最终的过滤规则。对于规则匹配,本文深化扩展传统的布尔逻辑模型true/false表达,引入二进制位运算思想,大大提高了匹配效率同时又不会丢失关键特征(即标记为1的二进制位)。最后本文将上述流程封装成过滤层嵌入到开源框架carrot2中,新增过滤功能完善其原来单纯的搜索功能。另外由于过滤规则库较大,本文提出对二进制规则串切割并建立索引,提高了查找和匹配的效率。

论文目录

• 摘要
• Abstract
• 目录
• 1 引言
• 1.1 web信息过滤的背景与意义
• 1.2 web信息过滤在国内外研究状况
• 1.2.1 国外研究状况
• 1.2.2 国内研究状况
• 1.3 web信息过滤常用技术比较
• 1.4 论文的主要工作和组织结构
• 2 粗糙集理论概述与扩展
• 2.1 基本概念与定理
• 2.1.1 粗糙集与精确集
• 2.1.2 决策表
• 2.1.3 重要度与依赖度
• 2.1.4 差别矩阵与特征矩阵
• 2.1.5 约简
• 2.1.6 评价标准
• 2.2 常用决策模型
• 2.3 Rough集的研究重点与应用领域
• 2.4 本章小结
• 3 页面采集与中文分词
• 3.1 web页面采集
• 3.2 中文分词
• 3.2.1 分词算法分析
• 3.2.2 模糊分词思想
• 3.3 中文分词系统
• 3.3.1 目前的分词系统
• 3.3.2 HDFS结构分析
• 3.3.3 主从式中文分词系统
• 3.3.4 实验测试
• 3.4 特征提取
• 3.5 本章小结
• 4 粗糙集属性约简
• 4.1 经典条件属性约简算法分析
• 4.1.1 基于约简定义的属性约简算法
• 4.1.2 基于差别矩阵的一系列约简算法
• 4.1.3 基于重要度的一系列约简算法
• 4.1.4 实验环境
• 4.1.5 实验结果与分析
• 4.2 同属性约简算法
• 4.2.1 算法思想
• 4.2.2 约简标准
• 4.2.3 算法描述
• 4.2.4 算法优点
• 4.3 实验仿真
• 4.3.1 实验环境
• 4.3.2 实验结果与分析
• 4.4 本章小结
• 5 规则提取与系统生成
• 5.1 规则提取
• 5.1.1 基于范畴簇的值约简算法
• 5.1.2 其它值约简算法分析
• 5.1.3 同值约简算法
• 5.2 web信息过滤系统
• 5.2.1 carrot2简介
• 5.2.2 索引策略
• 5.2.3 系统框架
• 5.2.4 算法嵌入与系统集成
• 5.3 系统测试与评估
• 5.4 本章小结
• 6 结论
• 致谢
• 参考文献
• 附录