基于视觉的手势识别技术研究

论文摘要

计算机和互联网的普及使得人机交互成为日常生活的重要组成部分。随着计算机的处理能力越来越强,人们开始探索符合人类交流习惯的自然人机交互技术。基于视觉的手势识别符合人的自然交流习惯,并且可以进行远距离、非接触的交互,成为自然人机交互研究中的热门方向。论文首先简单介绍了手势识别技术的研究背景和研究意义,归纳总结了基于视觉的手势识别技术的研究现状。然后提出一种基于多信息融合的手势检测定位方法,采用自适应更新的肤色建模方法进行肤色检测,利用Running Average方法不断更新背景,采用背景减除的方法进行运动检测,结合肤色检测和运动检测的结果提取手势候选区域,提高了手势检测定位的准确率。接着论文提出一种基于梯度方向直方图和PCA-LDA的静态手势识别方法,从归一化之后的手势图像中HOG特征,然后利用PCA-LDA的方法进行降维,将HOG特征映射到低维子空间,在子空间中采用最近邻原则进行手势分类识别,该方法在静态手势集上的测试识别率达到95%以上,与相关算法相比识别率有较大提高。最后论文将手势检测定位方法和手势识别方法综合起来,构建了应用于视频序列的手势识别原型系统,对该原型系统采用ROC曲线的方法评价其分类识别性能。针对真实场景下手势会有不同角度的旋转,在训练手势分类器时增加旋转训练样本,分类识别性能得到明显改善。提出一种连续手势的识别方法,从视频序列中分割和识别出连续手势,对定义手势的正确识别率可以达到93%,而对非定义手势的正确识别率可以达到83%。

论文目录

• 致谢
• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景和意义
• 1.1.1 研究背景
• 1.1.2 研究意义
• 1.2 手势识别的定义和分类
• 1.2.1 基于数据手套的手势识别
• 1.2.2 基于触摸屏的手势识别
• 1.2.3 基于加速度传感器的手势识别
• 1.2.4 基于超声波传感的手势识别
• 1.2.5 基于红外距离传感的手势识别
• 1.2.6 基于视觉的手势识别
• 1.3 基于视觉的手势识别研究现状
• 1.3.1 检测分割
• 1.3.2 跟踪定位
• 1.3.3 特征提取
• 1.3.4 分类识别
• 1.4 本文主要工作及内容安排
• 主要创新点
• 2 基于多信息融合的手势检测定位
• 2.1 肤色检测
• 2.1.1 YCrCb空间的肤色检测
• 2.1.2 结合运动检测的自适应肤色检测
• 2.2 运动检测
• 2.2.1 背景建模
• 2.2.2 运动分割阈值的确定
• 2.3 融合肤色信息和运动信息的手势检测定位
• 2.4 本章小结
• 本章的创新点
• 3 基于梯度方向直方图和PCA-LDA的静态手势识别
• 3.1 手势HOG特征提取
• 3.2 特征选择和分类器设计
• 3.2.1 PCA
• 3.2.2 LDA
• 3.2.3 PCA-LDA
• 3.2.4 最近邻分类识别
• 3.3 实验结果与分析
• 3.3.1 数据库
• 3.3.2 预处理
• 3.3.3 HOG特征参数的设定
• 3.3.4 结果和性能分析
• 3.4 本章小结
• 本章的创新点
• 4 视频序列中的手势识别
• 4.1 视频序列中手势识别的总体结构
• 4.2 连续手势的判决
• 4.3 静态分类器的训练及性能评价方法
• 4.3.1 静态手势分类器的训练
• 4.3.2 分类器的性能评价方法
• 4.4 单帧静态手势识别实验
• 4.4.1 测试序列
• 4.4.2 增加旋转训练样本对分类器性能的影响
• 4.4.3 粗分类和细分类对分类器的影响
• 4.4.4 识别结果与分析
• 4.5 视频序列中的连续手势识别实验
• 4.5.1 连续手势的稳定判决
• 4.5.2 识别结果与分析
• 4.6 本章小结
• 本章的创新点
• 5 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 作者攻读硕士学位期间的研究成果