引入结构信息的主题模型在视频行为分析中的应用研究

引入结构信息的主题模型在视频行为分析中的应用研究

论文摘要

视频行为分析是一项极具意义和挑战性的工作,在日常的应用及监控中都有很大的需求。目前的研究方法主要根据所处理的特征不同而分为基于轨迹的和基于运动像素块的。基于轨迹的方法需要依赖于较为准确的轨迹提取,而基于运动像素块的则依赖于底层运动特征的提取。基于运动像素块的视频行为分析方法主要研究从运动特征中如何挖掘出抽象的行为。主题模型具有挖掘出数据背后所隐含的抽象主题的能力,主要用于文本分类检索。主题模型主要包括隐含狄利克雷分配(Latent Dirichlet Allocation,LDA)(?)口层次狄利克雷过程(Hierarchical Dirichlet Processes,HDP),后者是一个无参的层次贝叶斯模型,能自动决定数据所对应的主题个数,而前者需要预先设定主题个数。运用主题模型相当于对数据进行抽象降维处理,将原本以较高维度单词表示的原始数据转化为以较低维度主题表示的数据,这样处理能便于进行数据分类检索。由于主题模型的这一特性,近年来很多研究者将其迁移到视频行为分析中来,利用主题模型挖掘出运动特征所对应的行为主题。由于主题模型本身是基于词袋模型假设,忽略了结构信息,而视频图像本身是时空特性的数据,因此需要在主题模型中引入结构信息。大多数研究者也对主题模型做了改进,主要是增加模型的层次和将模型时间序列化以研究行为的动态变化。本论文的研究围绕引入结构信息的主题模型展开,主要的研究工作如下:·我们提出了一种引入结构信息的方法,相对于其它的方法,我们主要将运动像素块的位置和方向作为观测变量加入到主题模型中,重新组织底层特征。这种方法可以看做是将运动特征附加两个属性—方向和位置。·我们提出了基于LDA和HDP模型的改进方法。在基于LDA模型的改进中,我们将运动方向作为运动位置的附属标签,这符合人们观察运动目标的习惯先确定运动目标的位置再确定运动的方向。我们预先设定主题的个数,并将不同主题个数下的结果可视化,通过分析比较可视化结果确定在设定某个主题数下主题所对应的原子行为能完全表示视频中的所有场景。在基于HDP模型的改进中,我们提出了两种引入结构信息的方法。第一种是和LDA模型中一样将运动方向作为运动位置的附属标签,预先确定运动方向对应主题的个数,而让模型自动确定运动位置对应的主题个数;第二种是将运动方向和运动位置都看做独立的变量,让模型自动确定其各自对应的主题个数。整个模型所得到的行为主题则是这两类属性主题的组合。相比于LDA模型,基于HDP模型的改进应用不用再分别尝试设置不同主题数,而直接由模型自动判断。·将改进的模型应用于视频行为分析中,在QUML交通路口车流和行人数据上,通过实验表明引入结构信息的主题模型更能挖掘出视频中的原子行为。相对于原始的LDA模型,我们的模型挖掘出的原子行为在粒度上更细,在设定相同主题数下能更好得表现视频的场景行为。而相对于原始的HDP模型,我们的模型能更好地控制挖掘出的行为数。根据原子行为的组合,即其能否同时出现,我们能对视频场景行为进行分析,判断是否有异常出现。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  • 1.1 研究的背景和意义
  • 1.2 视频行为分析方法
  • 1.3 视频行为分析的挑战
  • 1.4 本文组织结构
  • 第二章 主题模型
  • 2.1 引言
  • 2.1.1 概率图模型
  • 2.1.2 主题模型的历史
  • 2.2 隐含狄利克雷分配LDA
  • 2.2.1 狄利克雷分布
  • 2.2.2 共轭分布
  • 2.2.3 Gibbs采样
  • 2.2.4 LDA模型及其推导
  • 2.3 层次狄利克雷过程HDP
  • 2.3.1 狄利克雷过程
  • 2.3.2 DP混合模型
  • 2.3.3 HDP模型及其推导
  • 2.4 主题模型的变化
  • 2.5 本章小结
  • 第三章 主题模型在视频行为分析中的应用流程及优缺点分析
  • 3.1 引言
  • 3.2 视频行为分析流程
  • 3.2.1 动特征提取
  • 3.2.2 行为发现和场景判别
  • 3.3 主题模型在视频行为分析中应用优缺点分析
  • 3.4 有主题模型的改进
  • 3.4.1 结构层次增加
  • 3.4.2 时间序列建模
  • 3.5 本章小结
  • 第四章 引入结构信息的基于LDA和HDP的主题模型改进
  • 4.1 引言
  • 4.2 在LDA模型中引入结构信息
  • 4.2.1 基于LDA模型的改进方法
  • 4.2.2 改进模型的图模型
  • 4.2.3 改进模型的Gibbs采样算法
  • 4.3 在HDP模型中引入结构信息
  • 4.3.1 运动方向属性作为独立变量
  • 4.3.2 运动方向属性作为标签
  • 4.4 本章小结
  • 第五章 改进模型在视频行为分析中的应用
  • 5.1 QMUL交通路口车辆和行人数据集
  • 5.2 实验环境和步骤
  • 5.2.1 视频数据预处理
  • 5.2.2 模型训练及结果可视化
  • 5.2.3 行为发现及场景判别
  • 5.3 原始LDA与引入结构信息的LDA模型在QMUL数据集上的对照实验
  • 5.3.1 原子行为发现
  • 5.3.2 场景行为分析
  • 5.3.3 场景判别
  • 5.4 原始HDP与引入结构信息的HDP模型在QMUL数据集上的对照实验
  • 5.4.1 原子行为发现和场景行为分析
  • 5.4.2 场景判别
  • 5.5 实验结果分析
  • 5.6 本章小结
  • 第六章 总结与展望
  • 6.1 本文总结
  • 6.2 未来工作展望
  • 第七章 附录
  • 参考文献
  • 简历与科研成果
  • 致谢
  • 相关论文文献

    标签:;  ;  ;  ;  

    引入结构信息的主题模型在视频行为分析中的应用研究
    下载Doc文档

    猜你喜欢