序列图像中动态手势跟踪与建模方法研究

论文摘要

随着计算机软、硬件技术的迅猛发展及广泛应用,人与计算机之间的交互活动也越来越密切。手势这一人与人之间除自然语言外最重要的人际交流方式也被引入人机交互中,使得人与计算机之间的交互以一种更加自然而直观的方式进行。论文从自然人机交互的需求出发,对复杂背景下序列图像中的静态手形提取、动态手势建模及特征提取、动态手势跟踪识别进行了研究。并在此基础上,实现了从摄像头输入的5种鼠标手势的识别,以此来验证论文算法的正确性与有效性。针对复杂背景下利用单一线索对静态手形提取不准确的缺陷,提出了一种结合手势肤色、运动、轮廓等多线索的静态手形提取方法。该方法利用HSV颜色空间的H、S分量以及YCbCr颜色空间的Y分量实现了光照变化条件下手势的肤色检测,并且利用帧差分法进行运动检测去除类肤色背景,最后融合肤色、运动、轮廓等多种线索实现了复杂背景下静态手形的准确提取。为了解决传统Mean shift算法在复杂背景和光照变化等情形下存在跟踪不稳定、跟踪失败无法恢复等问题,提出了一种融合手势肤色和结构等多特征的鲁棒的Mean shift手势跟踪算法。该算法将肤色检测和帧差分法相结合形成目标检测模块,实现了跟踪初始化时可自动检测目标,同时可自动根据跟踪结果来确定目标手势矩形域。经与传统Mean shift算法对比实验分析,该算法提高了手势跟踪的准确性和稳定性。当手势快速运动及遮挡等导致跟踪失败时,可利用目标检测恢复跟踪,提高了跟踪的连续性。针对动态手势模型的准确性和使用速度不协调的矛盾,提出了一种动态手势建模及有效提取的方法。该方法利用动态手势开始手形、结束手形和中间运动轨迹建立动态手势模型,利用边界矩提取动态手势特征。实验表明,该方法可实现动态手势特征的有效提取。最后,在Matlab7.0环境下编程进行了仿真实验,识别从USB摄像头输入的5种鼠标手势,结果证明了本文所提方法的有效性和正确性。

论文目录

• 摘要
• ABSTRACT
• 插图索引
• 附表索引
• 第1章 绪 论
• 1.1 课题的研究背景和意义
• 1.2 手势的定义及分类
• 1.3 国内外研究现状及分析
• 1.4 课题来源及项目研究内容介绍
• 1.5 基于视觉的动态手势识别系统框架
• 1.5.1 手势建模方法
• 1.5.2 手势分割方法
• 1.5.3 手势跟踪方法
• 1.5.4 手势识别方法
• 1.6 手势识别中存在的主要困难
• 1.7 论文的主要研究工作及组织结构与安排
• 第2章 序列图像中静态手形的提取方法研究
• 2.1 手势分割概述
• 2.1.1 肤色检测方法
• 2.1.2 运动检测方法
• 2.1.3 边缘检测方法
• 2.1.4 序列图像中静态手形提取流程
• 2.2 手势图像预处理
• 2.2.1 图像的平滑及去噪
• 2.2.2 图像的二值化及开闭运算
• 2.3 基于HSV 及YCbCr 颜色空间肤色检测
• 2.3.1 HSV 及YCbCr 颜色空间
• 2.3.2 基于Y 及H，S 分量的肤色检测
• 2.4 基于帧差分法的运动检测
• 2.5 基于Canny 算子的边缘检测
• 2.6 本章 小结
• 第3章 序列图像中手势跟踪方法研究
• 3.1 手势跟踪算法概述
• 3.1.1 Kalman 算法
• 3.1.2 Mean shift 算法
• 3.1.3 Particle Filter 算法
• 3.2 改进的Mean shift 跟踪算法
• 3.3 实验结果及分析
• 3.4 本章 小结
• 第4章 序列图像中动态手势建模及特征提取
• 4.1 动态手势建模
• 4.1.1 动态手势的特性
• 4.1.2 动态手势建模
• 4.1.3 动态手势分割
• 4.2 手势特征提取
• 4.2.1 基于Fourier 描述子的特征提取
• 4.2.2 基于矩不变量的的特征提取
• 4.2.3 动态手势的特征提取
• 4.3 实验结果及分析
• 4.3.1 静态手形Hu 边界矩提取
• 4.3.2 运动轨迹的归一化中心矩提取
• 4.4 本章 小结
• 第5章 简单动态手势识别实验及结果分析
• 5.1 引言
• 5.2 鼠标手势的语义
• 5.3 动态手势识别系统流程
• 5.4 手势识别实验及结果分析
• 5.4.1 手形识别
• 5.4.2 运动轨迹识别
• 5.5 本章 小结
• 总结与展望
• 参考文献
• 致谢
• 附录A 攻读硕士学位期间所发表的学术论文