手势追踪研究与手势识别应用平台实现

论文摘要

随着计算机技术的迅猛发展,人机交互方式也日趋多样化。基于视觉的手势识别是新一代人机交互的重要研究内容;计算机通过摄像头理解人们的手势并做出相应的反应,弥补了传统的键盘、鼠标交互方式的不足。但现有的基于视觉的手势识别研究中仍然存在着一些不足和问题。例如,基于肤色分割的方法进行双手追踪,当手与手在运动过程中发生遮挡时,就没有办法正确追踪左右手的位置;如何让手势识别应用系统更好的适应实际情景中复杂多变的背景环境。本文在YCrCb颜色空间建立了一种基于高斯分布的统计模型,通过对手部图像的采样统计,自动初始化手部的肤色参数和面积参数后,对手部、脸部进行分割;并针对手势识别系统中的左、右手发生遮挡情况下的追踪问题,提出了一种质心估计的方法,比较好的解决了双手在运动过程中的遮挡问题;并通过实验对比,验证了此方法的有效性。针对隐马尔可夫模型（HMM,Hidden Markov Model）识别方法的手势识别的研究,本文设计并实现了一个手势应用平台软件G-Platform。研究者通过此平台可以方便的进行实验研究和应用系统的开发。G-Platform基于双摄像头,它可对手势者进行颜色与面积参数的自动采样并初始化、录制实验和手势训练所需的视频素材、对要训练的视频进行分割和手势方向特征值的提取、训练生成手势模型库文件和进行模型库文件管理。G-Platform大大方便了研究者进行手势识别的研究、加速了手势识别应用系统的开发;对于手势应用平台的价值和可用性,本文进行了问卷调查和意见收集。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景介绍
• 1.2 目前人机交互的不足
• 1.3 手势识别概述
• 1.4 国内外手势识别研究现状
• 1.5 相关研究工作中存在的不足
• 1.6 论文的研究动机
• 1.7 论文研究工作的意义
• 1.8 论文的结构安排
• 第2章 基于视觉的手势识别的理论方法与技术
• 2.1 手势建模
• 2.2 手势检测与追踪
• 2.3 手势特征提取
• 2.4 手势识别
• 2.5 本章小结
• 第3章 基于摄像头的手势识别中的追踪问题研究
• 3.1 基于肤色与采样初始化参数的手势分割
• 3.2 基于质心估计的手与手遮挡情况下的手势追踪
• 3.3 本章小结
• 第4章 G-Platform 手势应用平台设计与实现
• 4.1 G-Platform 应用平台框架与功能
• 4.2 G-Platform 手势应用平台的环境与功能设计说明
• 4.3 G-Platform 手势应用平台的优缺点分析
• 4.4 本章小结
• 第5章 实验效果评价与G-Platform 平台评估
• 5.1 基于质心估计的手势在左右手遮挡情况下的追踪效果
• 5.2 G-Platform 手势应用平台可用性评估
• 5.3 本章小结
• 第6章 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献