监督学习的话题模型

论文摘要

话题模型(Topic model)是目前流行的一种图模型(Graph model)的.其严格遵守贝叶斯概率框架,是一种完全的贝叶斯模型。话题模型作为一种产生式模型,具有非监督学习,能够利用大量的现有的互联网数据,学出的话题易于人类理解,能够发现文档集中隐含的语义的特点。是一种良好的聚类和降维工具。然而对于将话题模型应用分类问题,由于其非监督的特点,其学出来的话题并不一定有利于分类的进行,为此如何有效的加入监督信息也成为了研究热点。本研究旨在探索更多加入监督信息的方式。在本文之中,我们首先提出了一种用于多类分类的有监督学习的上游话题模型,其能够同时进行文档建模和分类。较之现有的有监督学习的话题模型,这个模型具有三个优势:1)类别是显示的作为关于话题的分布来建模的,其相当于为每个文档添加了一个非常强烈的先验分布,2)每个文档都明确的分解成对于类别而言的三种不同的组分,3)关于文档类标的推理是非常稀疏的,而这种稀疏性对于文档分类而言正是必须的。我们并将其应用与文本与图像分类。在随后的章节中,我们针对上游模型无法有效利用类间信息的缺点,提出一个将产生概率和监督学习信息联合起来的叫做LogisticLDA的模型,其用符合原则的方式从数学上将一个产生式模型和一个判别模型集成起来。通过使用logistic normal分布来最大化关于文档类标的后验概率,我们的模型有效的将监督学习信息集成进来以最大化话题空间的类间距离,同时仍旧享受文档之间可交换性所带来推理的容易性。在三个测验样例数据集上的实验结果表明,我们的模型表现结果超过现今流行的有监督学习的话题模型。相比于SVM,我们的模型也获得可以比较的结果,但它同时能够发现有利于降维,话题和文档索引挖掘隐藏的话题的空间。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 话题模型简介简介
• 1.2 总体结构安排
• 第二章 话题模型简介
• 2.1 符号说明
• 2.2 话题模型发展回顾
• 2.2.1 Latent Dirichlet Alllocation（LDA）模型
• 2.2.2 有监督学习的话题模型
• 第三章 有监督学习的上游话题模型
• 3.1 模型简介
• 3.2 有监督学习的上游话题模型
• 3.2.1 STM: 类别特有的话题分布
• 3.2.2 STM-DC: 特有词汇和背景分布
• 3.2.3 STM-PS: 类别先验和稀疏性
• 3.3 参数估计
• 3.3.1 训练
• 3.3.2 测试
• 3.4 讨论
• 3.4.1 监督信息的影响
• 3.4.2 健壮性
• 3.5 文本实验
• 3.5.1 数据集
• 3.5.2 实验设置
• 3.5.3 实验
• 3.6 图像实验
• 3.6.1 Scene 13 分类
• 3.6.2 VOC2007 物体识别
• 3.7 章节小结
• 第四章 LogisticLDA模型
• 4.1 模型简介
• 4.2 LogisticLDA 模型
• 4.2.1 讨论
• 4.3 近似推导
• 4.3.1 E步骤
• 4.3.2 M步骤
• 4.3.3 预测
• 4.4 实验
• 4.4.1 Datasets
• 4.4.2 实验设置
• 4.4.3 实验结果
• 4.5 近似性讨论
• 4.6 结论
• 第五章 总结
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录