图像序列中人的行为分析和识别方法

论文摘要

人的行为分析和识别是计算机视觉和模式识别领域的研究热点,它在智能监控、虚拟现实、运动分析等领域具有广阔的应用前景。本文主要研究图像序列中人的行为分析和识别,在行为特征提取、特征表示和行为识别与建模三个方面,对手势跟踪与动态手势识别、单人行为识别和两人交互行为识别等问题进行了探索研究。本文提出一种层级潜变量空间中的三维人手跟踪算法,和其它基于流形学习的跟踪方法不同,它将人手状态空间划分成多个人手部分状态空间,采用层级高斯过程潜变量模型得到更能反映人手运动本质的树状低维流形空间,在该低维空间使用粒子滤波器跟踪人手和各个人手部分的运动,降低了粒子滤波器有效跟踪人手所需的粒子数量;使用径向基函数插值方法构建低维流形空间到图像空间的非线性映射,将低维粒子直接映射到图像空间中观测。实验表明,该方法可以鲁棒的跟踪关节人手,并具有更小的跟踪误差。本文提出一种层级条件随机场模型（Hierarchical Conditional Random Filed, Hierarchical CRF）建模动态手势,该模型为每一帧图像预测一个行为标签,可用于连续动态手势的识别。实验结果证明了该模型的有效性。目前大多数单人行为识别方法是基于整个人体运动特征的。本文提出一种层级潜变量空间中的单人行为识别方法,它基于人体自身的生理学结构,构建人体运动的层级潜变量空间,并在该空间中采用聚类技术提取各个人体部分的运动模式。该方法采用层叠条件随机场模型（Cascade CRF）建模输入数据和运动模式的概率映射,使用判别式分类器估计最终的人体行为标签。在运动捕捉数据上的识别结果证明了该方法的有效性,在合成图像上的识别结果验证了该方法的鲁棒性。本文研究了两人交互行为的识别与建模,提出一种基于时空单词的两人交互行为识别方法,该方法从行为视频中提取丰富的时空兴趣点,基于人体剪影的连通性分析和时空兴趣点的历史信息,把时空兴趣点划分给不同的人体,并在兴趣点样本空间聚类生成时空码本（spatial-temporal codebook）。对于给定的时空兴趣点集,通过投票得到表示单人原子行为的时空单词（spatial-temporal words）。它采用条件随机场模型建模单人原子行为,在建模两人交互行为语义时,人工建立表示领域知识（domain knowledge）的一阶逻辑知识库,并训练马尔可夫逻辑网用以两人交互行为的推理。两人交互行为库上的实验结果证明了该方法的有效性。

论文目录

• 摘要
• Abstract
• 目录
• 插图目录
• 表格目录
• 第1章 绪论
• 1.1 选题背景和研究意义
• 1.2 研究内容
• 1.3 论文结构
• 第2章 人的行为分析和识别研究现状
• 2.1 引言
• 2.2 研究现状
• 2.3 特征提取方法
• 2.3.1 静态特征
• 2.3.2 动态特征
• 2.3.3 时空特征
• 2.4 特征表示方法
• 2.4.1 特征描述子
• 2.4.2 特征袋表示
• 2.4.3 不变量表示
• 2.4.4 特征空间方法
• 2.5 行为识别方法
• 2.5.1 模板匹配方法
• 2.5.2 有限状态机
• 2.5.3 概率图模型
• 2.5.3.1 产生式模型
• 2.5.3.2 判别式模型
• 2.5.4 基于文法的方法
• 2.5.5 基于规则的方法
• 2.5.6 基于统计关系学习模型的方法
• 2.6 人体行为分析研究的难点
• 第3章 层级潜变量空间中的三维人手跟踪和动态手势识别
• 3.1 引言
• 3.2 人手跟踪方法
• 3.2.1 基于表观的方法
• 3.2.2 基于模型的方法
• 3.3 人手运动的层级潜变量空间
• 3.3.1 三维人手模型
• 3.3.2 层级流形学习方法
• 3.4 三维人手跟踪
• 3.4.1 层级潜变量空间到图像空间的非线性映射
• 3.4.2 跟踪算法
• 3.5 基于层级条件随机场的连续动态手势识别算法
• 3.5.1 动态手势识别框架
• 3.5.2 层级条件随机场
• 3.6 三维人手跟踪实验
• 3.6.1 实验设计
• 3.6.2 实验结果和分析
• 3.7 连续动态手势识别实验
• 3.7.1 手势数据库
• 3.7.2 实验设计
• 3.7.3 实验结果和分析
• 3.8 小结
• 第4章 层级潜变量空间中的单人行为识别方法
• 4.1 引言
• 4.2 运动模式
• 4.2.1 人体运动的层级潜变量空间
• 4.2.2 人体部分运动轨迹的可视化
• 4.2.3 轨迹聚类
• 4.3 基于判别式模型的单人行为建模
• 4.4 实验分析
• 4.4.1 单人行为数据库
• 4.4.1.1 基于运动捕捉数据的单人行为数据库
• 4.4.1.2 基于合成图像的单人行为数据库
• 4.4.2 运动捕捉数据上的实验结果
• 4.4.3 合成人体行为图像上的实验结果
• 4.5 小结
• 第5章 基于时空单词的两人交互行为识别
• 5.1 引言
• 5.2 算法框图
• 5.3 时空特征提取和表示
• 5.3.1 时空兴趣点
• 5.3.2 时空兴趣点分类
• 5.3.3 时空单词
• 5.4 两人交互行为识别
• 5.4.1 单人原子行为识别
• 5.4.2 两人交互行为语义建模
• 5.5 实验
• 5.5.1 实验设计
• 5.5.2 实验结果及分析
• 5.6 小结
• 第6章 结论与展望
• 6.1 工作总结
• 6.2 未来工作展望
• 参考文献
• 致谢
• 攻读博士学位期间发表的论文
• 攻读博士学位期间参与的科研项目