手势驱动编钟演奏技术的研究与系统实现

论文摘要

中华民族历史悠久，拥有丰富的非物质文化遗产。对这些非物质文化遗产的保护与传承通常需要近距离的接触历史文物，然而，文物保护的需要限制了文化传承的方式，这也使得一种新的交互方式的出现成为必然。因此，以计算机手势识别技术为代表的自然人机交互技术逐渐的成为该领域研究的热点。本论文通过深入研究自然人机交互中的手势识别技术，提出将自然人机交互技术与非物质文化遗产保护相结合，利用基于计算机视觉的手势在三维环境中弹奏编钟，成功地解决了非物质文化遗产保护中珍稀古文物不可直接用于宣传普及的矛盾，丰富了非物质文化遗产保护与传承的方式，具有一定的实用性以及可扩展性。文中首先对几种常见的计算机手势识别技术进行分析比较，并选择最适于系统实现的基于计算机视觉的手势识别技术作为研究重点。然后，针对手势识别过程中会遇到的无效距离的问题给出相应的解决方法——利用基于计算机视觉的立体距离测量法筛选无效距离以优化实现效果，并给出距离测量公式的推导过程。基于计算机视觉的手势识别技术在实现中需要通过手势建模、手势分割以及特征参数提取几个阶段的操作以实现用户手势的实时识别。其中，手势分割是计算机手势识别技术的核心，论文详细论述了手势分割前期的手势定位操作以及依据肤色阈值从图像的HSv色彩空间中划分出人体所在区域的方法，并给出一个利用Freeman链法则进行边缘跟踪优化的算法。最后，应用基于计算机视觉的手势识别技术，论文实现了一个手势驱动编钟演奏的系统，以殷商大型王室墓葬妇好墓出土的五枚编钟作为原型，在OpenGL环境中重建场景，使用单目摄像头作为手势输入设备，驱动编钟奏乐。论文的最后给出了系统的具体实现。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景与意义
• 1.2 手势识别技术的研究现状
• 1.3 手势驱动编钟的可行性与难点
• 1.4 本文研究内容与结构
• 第2章 计算机手势输入技术与方法
• 2.1 手势的定义与分类
• 2.1.1 手势的定义
• 2.1.2 手势的分类
• 2.2 计算机手势输入技术
• 2.2.1 基于鼠标器与笔
• 2.2.2 基于数据手套
• 2.2.3 基于计算机视觉
• 2.2.4 手势输入技术讨论
• 第3章 基于计算机视觉的立体距离测量
• 3.1 立体视觉的原理
• 3.1.1 视角与焦距
• 3.1.2 坐标系说明
• 3.2 透视变换和摄像头模型
• 3.2.1 针孔摄像头模型
• 3.2.2 坐标转换
• 3.3 针孔模型测距方法
• 3.3.1 摄像头正对正前方
• 3.3.2 摄像头倾斜
• 第4章 自然手势识别
• 4.1 手势建模
• 4.1.1 基于3D模型的手势模型
• 4.1.2 基于表观的手势模型
• 4.1.3 建模方法讨论
• 4.2 手势分割
• 4.2.1 手势定位技术
• 4.2.2 彩色空间的转换
• 4.2.3 肤色分割模型
• 4.2.4 边缘跟踪
• 4.3 特征参数提取
• 4.3.1 模型参数估计方法
• 4.3.2 脸部与手部位置检测
• 第5章 编钟演奏系统的设计与实现
• 5.1 场景复原
• 5.2 系统体系结构
• 5.2.1 场景构建
• 5.2.2 视频初始化
• 5.2.3 手势识别
• 5.2.4 立体距离测量
• 5.2.5 目标驱动
• 5.3 主要数据结构与关键技术
• 5.3.1 类层次结构
• 5.3.2 系统关键技术
• 5.4 系统交互方式
• 5.4.1 系统初始化
• 5.4.2 背景信息记录
• 5.4.3 手势驱动编钟演奏
• 第6章 总结与展望
• 6.1 总结
• 6.2 展望
• 附录A DirectShow视频捕捉应用
• 参考文献
• 攻读硕士学位期间参与的主要项目
• 致谢