稀疏线性判别分析在文本分类中的应用研究

论文摘要

文本数据分析是机器学习、数据挖掘领域受到广泛关注的研究问题。面对海量的信息,用传统手工进行文本分类存在着很大的困难。用户采用文本分类技术可在短时间内寻找到自己所需的信息。文本数据是一种多类别高维度的数据,其特征数目往往可达到上万个,相比之下,文本的样本数据较少,文本处理是小样本学习问题。在文本分类中,有效的维数约简可以提高学习任务的效率和分类性能。多类别数据经线性判别分析处理后,可使类内的样本数据密集在一起,类间的样本数据分散开,这样就可得到很好的分类效果。但是传统线性判别分析算法遇到小样本问题时,其算法会因为类内散度矩阵发生奇异,导致该算法失去其有效性。针对传统线性判别分析算法存在的缺陷,通过引入L1正则化稀疏条件和半监督局部方法对传统线性判别分析算法进行改进,引入L1正则化稀疏条件的线性判别分析算法简称为稀疏线性判别分析算法,这种算法可以很好的处理文本数据中出现的小样本问题。稀疏线性判别分析可以将那些贡献小的信息全部剔除,与传统线性判别分析相比,可获得较好的降维功效,因此就可节省文本数据的存储空间,这样也能提高分类器的分类性能。引入半监督局部方法的线性判别分析算法简称为半监督局部线性判别分析算法,这种算法可以充分利用无类别文本数据,增加了文本数据样本,也可以解决小样本问题。为了验证稀疏线性判别分析算法和半监督局部线性判别分析算法的有效性及其优越性,我们还引入了局部线性判别分析和核局部线性判别分析来进行比较性试验,在用相同文本数据的基础上,用稀疏线性判别分析直接进行降维,其它的方法是在用核主成分分析处理数据的基础上进行文本数据的降维,再用相同文本分类器进行实验结果的对比。通过实验证明,稀疏线性判别分析算法与其他算法相比在文本数据分类效果上有明显的提高。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 国内外研究现状
• 1.3 本文工作
• 1.3.1 本文的研究内容
• 1.3.2 本文的组织框架
• 第二章 文本分类技术
• 2.1 文本分类
• 2.2 文本分类的过程
• 2.3 文本表示模型
• 2.4 常用的分类器
• 2.5 分类器的性能评估
• 2.5.1 查全率和查准率、宏平均和微平均
• 2.5.2 F1（F-measure）与BEP（Break-even point）
• 2.6 小结
• 第三章 特征抽取方法研究
• 3.1 降维方法的简介
• 3.1.1 特征选择
• 3.1.2 特征抽取
• 3.2 主成分分析方法及其改进算法
• 3.2.1 主成分分析
• 3.2.2 核主成分分析
• 3.3 线性降维方法
• 3.3.1 概述
• 3.3.2 Fisher 线性判别分析
• 3.3.3 局部保持投影（Locality-Preserving Projection, LPP）
• 3.4 小结
• 第四章 线性判别分析的改进
• 4.1 稀疏线性判别分析（Sparse Linear Discriminant Analysis, SLDA）
• 4.2 局部线性判别分析（Local Fisher Discriminant Analysis, LFDA）
• 4.3 核局部线性判别分析（Kernel Local Fisher Discriminant Analysis, KLFDA）
• 4.4 半监督局部线性判别分析（Semi-Supervised LFDA, SELF）
• 4.5 小结
• 第五章 实验数据与结果分析
• 5.1 数据介绍
• 5.2 维度的选择
• 5.3 实验结果与分析
• 5.4 小结
• 第六章 总结
• 参考文献
• 个人简历 在读期间发表的学术论文
• 致谢