稀疏线性判别分析在文本分类中的应用研究

稀疏线性判别分析在文本分类中的应用研究

论文摘要

文本数据分析是机器学习、数据挖掘领域受到广泛关注的研究问题。面对海量的信息,用传统手工进行文本分类存在着很大的困难。用户采用文本分类技术可在短时间内寻找到自己所需的信息。文本数据是一种多类别高维度的数据,其特征数目往往可达到上万个,相比之下,文本的样本数据较少,文本处理是小样本学习问题。在文本分类中,有效的维数约简可以提高学习任务的效率和分类性能。多类别数据经线性判别分析处理后,可使类内的样本数据密集在一起,类间的样本数据分散开,这样就可得到很好的分类效果。但是传统线性判别分析算法遇到小样本问题时,其算法会因为类内散度矩阵发生奇异,导致该算法失去其有效性。针对传统线性判别分析算法存在的缺陷,通过引入L1正则化稀疏条件和半监督局部方法对传统线性判别分析算法进行改进,引入L1正则化稀疏条件的线性判别分析算法简称为稀疏线性判别分析算法,这种算法可以很好的处理文本数据中出现的小样本问题。稀疏线性判别分析可以将那些贡献小的信息全部剔除,与传统线性判别分析相比,可获得较好的降维功效,因此就可节省文本数据的存储空间,这样也能提高分类器的分类性能。引入半监督局部方法的线性判别分析算法简称为半监督局部线性判别分析算法,这种算法可以充分利用无类别文本数据,增加了文本数据样本,也可以解决小样本问题。为了验证稀疏线性判别分析算法和半监督局部线性判别分析算法的有效性及其优越性,我们还引入了局部线性判别分析和核局部线性判别分析来进行比较性试验,在用相同文本数据的基础上,用稀疏线性判别分析直接进行降维,其它的方法是在用核主成分分析处理数据的基础上进行文本数据的降维,再用相同文本分类器进行实验结果的对比。通过实验证明,稀疏线性判别分析算法与其他算法相比在文本数据分类效果上有明显的提高。

论文目录

  • 摘要
  • ABSTRACT
  • 第一章 绪论
  • 1.1 课题研究背景
  • 1.2 国内外研究现状
  • 1.3 本文工作
  • 1.3.1 本文的研究内容
  • 1.3.2 本文的组织框架
  • 第二章 文本分类技术
  • 2.1 文本分类
  • 2.2 文本分类的过程
  • 2.3 文本表示模型
  • 2.4 常用的分类器
  • 2.5 分类器的性能评估
  • 2.5.1 查全率和查准率、宏平均和微平均
  • 2.5.2 F1(F-measure)与BEP(Break-even point)
  • 2.6 小结
  • 第三章 特征抽取方法研究
  • 3.1 降维方法的简介
  • 3.1.1 特征选择
  • 3.1.2 特征抽取
  • 3.2 主成分分析方法及其改进算法
  • 3.2.1 主成分分析
  • 3.2.2 核主成分分析
  • 3.3 线性降维方法
  • 3.3.1 概述
  • 3.3.2 Fisher 线性判别分析
  • 3.3.3 局部保持投影(Locality-Preserving Projection, LPP)
  • 3.4 小结
  • 第四章 线性判别分析的改进
  • 4.1 稀疏线性判别分析(Sparse Linear Discriminant Analysis, SLDA)
  • 4.2 局部线性判别分析(Local Fisher Discriminant Analysis, LFDA)
  • 4.3 核局部线性判别分析(Kernel Local Fisher Discriminant Analysis, KLFDA)
  • 4.4 半监督局部线性判别分析(Semi-Supervised LFDA, SELF)
  • 4.5 小结
  • 第五章 实验数据与结果分析
  • 5.1 数据介绍
  • 5.2 维度的选择
  • 5.3 实验结果与分析
  • 5.4 小结
  • 第六章 总结
  • 参考文献
  • 个人简历 在读期间发表的学术论文
  • 致谢
  • 相关论文文献

    • [1].清華簡文本復原——以《清華大學藏戰國竹簡》第一、二輯為例[J]. 出土文献 2012(00)
    • [2].召唤、整合与摧毁:群体传播时代网络叙述的副文本[J]. 现代传播(中国传媒大学学报) 2019(11)
    • [3].古义、真义与大义:以诠释范式为中心看中国古代思想文本的意义生成[J]. 复旦学报(社会科学版) 2020(01)
    • [4].广义文本情感分析综述[J]. 计算机应用 2019(S2)
    • [5].非连续性文本教学要聚合与实用[J]. 语文建设 2020(03)
    • [6].论文本的物质性[J]. 山东社会科学 2020(01)
    • [7].基于深度学习的学术文本段落结构功能识别研究[J]. 情报科学 2020(03)
    • [8].Word2vec-CNN-Bilstm短文本情感分类[J]. 福建电脑 2020(01)
    • [9].文本的时空呈现——高校写作教学改革思考之二[J]. 写作 2020(01)
    • [10].语体视角下语篇副文本系统的配置及耦合互文路径差异[J]. 当代修辞学 2020(03)
    • [11].重审“作者已死”:论作为“伴随文本”的作者与作品[J]. 西南大学学报(社会科学版) 2020(03)
    • [12].影视作品及数字媒体文本-类文本共生叙事研究[J]. 西南民族大学学报(人文社科版) 2020(06)
    • [13].金融学文本大数据挖掘方法与研究进展[J]. 经济学动态 2020(04)
    • [14].基于深度学习的自然场景文本检测与识别综述[J]. 软件学报 2020(05)
    • [15].多文本融合下的深度翻译研究[J]. 中国科技翻译 2020(02)
    • [16].伊瑟尔“召唤结构”理论下文学文本审美潜能再创造[J]. 湖北第二师范学院学报 2020(04)
    • [17].全文本视角下文艺类图书出版的意义生成[J]. 出版科学 2020(03)
    • [18].《阿Q正传》译入译出文本的风格计量学对比[J]. 外语研究 2020(03)
    • [19].广义叙述学视域下电子游戏的三种文本初探——以《王者荣耀》为例[J]. 科技传播 2020(12)
    • [20].面向文本的结构——内容联合表示学习模型[J]. 计算机应用研究 2020(S1)
    • [21].明清教材“孝”文本的传播逻辑[J]. 出版广角 2020(15)
    • [22].新型主流媒体的文本互动研究[J]. 传播与版权 2020(07)
    • [23].试论伴随文本对特稿收受与解释的影响——基于《人物》对新冠肺炎疫情的相关报道[J]. 新闻研究导刊 2020(18)
    • [24].塞科“经济正常化”文本四问[J]. 世界知识 2020(20)
    • [25].让语文课堂充满语文的味道[J]. 文学教育(上) 2019(02)
    • [26].教师培养政策的政策文本研究[J]. 现代经济信息 2019(18)
    • [27].浅析手机取证中的文本分类[J]. 科技与创新 2019(22)
    • [28].住建部、工商总局联合修订《建设工程施工合同(示范文本)》[J]. 建筑技术开发 2017(22)
    • [29].2013版建设工程施工合同(示范文本)已废止,10月1日已执行2017版[J]. 建筑设计管理 2017(12)
    • [30].高校官方微信公众号的文本传播解读[J]. 西部广播电视 2018(16)

    标签:;  ;  ;  ;  

    稀疏线性判别分析在文本分类中的应用研究
    下载Doc文档

    猜你喜欢