基于立体视觉的手势参数提取研究

论文摘要

虚拟现实技术是人机交互技术的高级形式,能够使人沉浸于虚拟环境中,让人有身临其境的感觉,手势交互便是虚拟现实中高级人机交互的一种。在手势交互中,向虚拟环境输入手势运动参数是实现手势交互的关键技术。目前,实现手势输入的方式主要有两种:一种是基于数据手套的输入方式,另一种是基于计算机立体视觉的输入方式。随着计算机立体视觉技术的发展,基于计算机立体视觉的手势输入方式能够使手的运动摆脱数据手套的束缚,越来越成为虚拟现实技术的研究热点。提取手势运动参数特别是关节的运动角度是实现手势输入的关键。本文主要研究基于立体视觉的手势运动参数提取,主要工作和创新点如下:1、深入研究了人手生理学结构和运动学原理,对人手生理结构进行了简化。根据简化的人手模型,对人手进行了虚拟建模,建立了逼真的可以通过参数控制的虚拟手模型。2、提出了基于颜色和形状组合标记的手势关节特征点设置和三维坐标重建方法,对手势的23个关节点进行了特征点设置。利用一台摄像机在焦距不变的情况下,对同一手势从不同角度拍摄了两幅图像模拟双目立体视觉。利用阈值化分割方法分别对两幅图像进行了处理,提取出了不同颜色和不同形状的特征点,然后对两幅图像中相同标记的特征点进行了匹配。利用张正友平面模板标定两步法对摄像机内参数进行了标定,求解出拍摄两幅图像时摄像机的投影矩阵。在此基础上对23个关节特征点进行了三维坐标重建。3、提出了基于23个三维特征点的手势关节运动参数提取算法,推导出了求解公式。将三维重建得到的手势关节特征点世界坐标转换成以手腕坐标系为基础的坐标。根据逆运动学求关节角度的原理对人手拇指和四指关节的角度分别进行了求解公式的推导,并进行了具体手势角度的计算。将计算出的关节角度输入到虚拟手模型中对真实人手姿态进行了仿真显示,实现了一个用真实人手姿态通过立体视觉驱使虚拟手运动的实验系统。4、为了验证本文方法的有效性,在不同实验条件下,对不同手势分别进行了实验。对实验结果进行了具体分析,实验发现,虚拟手对真实手势的仿真效果形象、逼真,达到了预期效果。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 手势交互技术概述
• 1.1.1 虚拟现实技术
• 1.1.2 手势交互技术
• 1.2 计算机立体视觉概述
• 1.3 国内外研究现状
• 1.3.1 基于数据手套输入的手势交互研究现状
• 1.3.2 基于视觉输入的手势交互研究现状
• 1.4 选题依据
• 1.5 论文主要工作
• 第二章 人手的运动学原理及虚拟手建模
• 2.1 人手的生理学结构及简化模型
• 2.1.1 手部骨骼结构及关节特性
• 2.1.2 手部模型机构学简化
• 2.2 人手的运动学原理
• 2.2.1 正运动学与逆运动学介绍
• 2.2.2 人手模型的正运动学与逆运动学原理
• 2.2.3 基于逆运动学的人手姿态参数求解方法的改进
• 2.3 虚拟手模型的建立
• 2.3.1 虚拟手模型的几何学建模
• 2.3.2 模型数据文件的读取和显示
• 2.4 本章小结
• 第三章 基于立体视觉的手势关节特征点三维坐标重建
• 3.1 计算机立体视觉原理
• 3.1.1 摄像机成像模型
• 3.1.2 摄像机标定
• 3.1.3 图像特征提取与匹配
• 3.1.4 三维坐标计算
• 3.1.5 手势三维坐标重建的流程
• 3.2 基于颜色和形状标记的手部关节特征点的设置
• 3.2.1 颜色特征的性质与选取
• 3.2.2 形状特征的性质与选取
• 3.2.3 基于标记的手势关节特征点的设置
• 3.3 关节特征点提取及匹配
• 3.3.1 颜色分割
• 3.3.2 形状分割
• 3.3.3 特征点确立及匹配
• 3.4 摄像机内外参数的求解
• 3.4.1 摄像机内参数的求解
• 3.4.2 摄像机外参数的求解
• 3.5 手势关节特征点的三维坐标重建
• 3.5.1 投影矩阵的计算
• 3.5.2 手势关节特征点三维坐标的计算
• 3.6 本章小结
• 第四章 手势关节角度求解及虚拟手仿真
• 4.1 手势关节点的世界坐标系坐标向手腕坐标系坐标转换
• 4.1.1 坐标系间的变换关系
• 4.1.2 手势关节点世界坐标向手腕坐标转换
• 4.2 手腕坐标系下手势关节角度的求解
• 4.2.1 拇指各关节角度的求解
• 4.2.2 四指各关节角度的求解
• 4.2.3 手势各关节角度求解结果及虚拟手仿真
• 4.3 本章小结
• 第五章 实验及结果分析
• 5.1 实验
• 5.1.1 实验一
• 5.1.2 实验二
• 5.1.3 实验三
• 5.1.4 实验四
• 5.2 实验结果分析
• 5.3 本章小结
• 结束语
• 致谢
• 参考文献
• 作者在学期间取得的学术成果