基于立体视觉的手形手势识别研究

论文摘要

随着信息技术的迅猛发展,人机交互也越来越成为日常生活中一个不可缺少的部分,人机接口技术的发展也越来越快。传统的鼠标键盘等人机交互手段虽然越来越向方便快捷性方向发展,但是在人机交流的自由性和自然性方面还是不很理想。一种符合人们在日常生活中的交流习惯的人机交互技术越来越受到青睐。因此近年来兴起的基于视觉的手势交互逐渐成为人机交互领域的研究热点,它使得人机交互更加自然、更加人性化。这项技术在家电控制、机器人控制、哑语教学及游戏控制等方面有着广泛的应用前景。由于手本身不是刚体,所以做出来的手形手势具有多样性和多义性,即使是同一个人的做出的同一个手势在不同的时间里也不是完全一样的。而且手势识别所涉及到的学科广泛,包括数字图像处理、模式识别、人工智能及计算机视觉等学科,因此基于视觉的手势识别是一个极富挑战性的研究课题。手势分为静态手势和动态手势两种,静态手势就是指手势在某个时间点的姿态、形状即手形,动态手势指的是手在空间中的运动轨迹。本文主要研究基于计算机视觉的静态手形和动态手势的分割及识别等方面的相关内容。由于摄像头采集到的都是空间物体的二维投影信息,物体在由三维空间向二维空间投影时必不可免地会丢失一些信息,由于单个摄像头采集到的手势信息可能不全面,为了使得采集到的图像信息能更真实贴近地反映物体的本来面目,本文采用两个摄像头从不同视角对手势进行图像采集,对采集到的两幅图像相互参照,减少误识的发生。本论文的研究内容包括下面几个部分：1.在手势分割方面,对比研究了一些常用的分割方法。利用肤色模型法实现了静态手形的分割,通过对采集到的视频流进行差分运算,分割出运动区域,然后在此基础上利用肤色模型法实现了手形手势的分割,对分割出来的手势进行相关的后处理,如空洞的填充、孤立噪声点的去处,使得分割出来的手势更加准确。2.在手势特征提取方面,对常见的手势特征及特征提取方法进行了详细的研究。特征包括几何不变矩、区域重心、手指个数等,由于本文选择讨论的手势比较简单,利用手指个数作为静态手形的特征矢量,对动态手势则采用手势区域的重心位置和手指数这两个特征来作为其最终的特征矢量。3.在手势识别方面,对手势识别过程及方法进行了相关研究,采用隐马尔科夫模型来实现手势的训练和识别。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景及现状
• 1.2 手势识别研究概述
• 1.2.1 手势的定义
• 1.2.2 手势识别
• 1.2.3 几种常用的手势识别技术
• 1.3 基于视觉的手势识别系统
• 1.3.1 系统构成
• 1.3.2 手势识别的一般流程
• 1.3.3 手势识别的难点
• 1.4 本文的主要工作
• 第二章 与手势图像分割的相关技术研究
• 2.1 几种常用的分割算法
• 2.1.1 阈值分割法
• 2.1.2 基于边界的分割算法
• 2.1.3 区域增长法
• 2.1.4 差分法
• 2.1.5 光流法
• 2.2 图像增强处理
• 2.2.1 图像平滑
• 2.2.2 图像锐化
• 2.3 基于肤色检测实现静态手势的分割
• 2.3.1 肤色模型的概述
• 2.3.2 常用的几种颜色空间的比较
• 2.3.3 肤色模型的选择和建立
• 2.4 利用帧差法和肤色模刑法结合实现动态手势分割
• 2.5 本章小结
• 第三章 静态手形特征的提取与建模
• 3.1 轮廓提取方法
• 3.1.1 一阶梯度算法
• 3.1.2 基于最优化方法的算法
• 3.1.3 八邻域搜索法
• 3.1.4 本文的几种算法
• 3.2 手指数的判定
• 3.3 指尖的定位
• 3.4 利用几何矩对静态手形进行建模和识别
• 3.4.1 几何矩的基本概念
• 3.4.2 静态手形样本庫的建立
• 3.5 本章小结
• 第四章 动态手势识别方法的研究
• 4.1 HMM的基本思想
• 4.1.1 Markov链
• 4.1.2 HMM
• 4.2 HMM基本算法
• 4.2.1 前向—后向算法
• 4.2.2 Viterbi算法
• 4.2.3 Baum-Welch算法
• 4.3 HMM模型的类型
• 4.3.1 按照HMM状态转移矩阵A的分类
• 4.3.2 按照HMM的输出概率矩阵B的分类
• 4.4 用HMM实现动态手势识别
• 4.4.1 手势特征的提取
• 4.4.2 HMM参数的初始化问题
• 4.4.3 训练手势的HMM模型
• 4.4.4 基于HMM的手势识别过程
• 4.5 基于DTW的动态手势识别的研究
• 4.6 系统运行界面
• 4.7 本章小结
• 第五章 总结与展望
• 5.1 全文工作总结
• 5.2 工作中的不足与展望
• 附录A 图索引
• 附录B 表索引
• Appendix A Figure Index
• Appendix B Table Index
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢