增强现实系统的人机交互技术研究与应用

论文摘要

增强现实(Augmented Reality,简称AR)技术通过视频采集设备取得真实场景的图像,同时生成虚拟的信息准确实时地注册到真实的场景当中,并通过视频显示设备呈现出来,从而达到虚实融合的目的。增强现实技术被广泛地应用于军事、医疗、教育、文化娱乐等领域。随着人机交互技术的发展,人们不再局限于传统的键盘、鼠标的交互方式,努力探索更加智能、更加自然的交互方式。人手动作和手势是人类最直观、自然的表达方式之一,蕴含着非常丰富的语义信息,用户可以直接将人手作为计算机的输入,通过人手的动作或者手势与机器交互。增强现实技术本身就是作为一种新型的人机交互的手段出现的,增强现实系统中人手交互广泛地扩展了增强现实系统的交互方式,极大地提高增强现实的应用范围,具有较高的研究意义。本文基于双目视觉原理研究了增强现实系统中通过指尖与虚拟物体进行交互的技术,涉及到手势图像的分割、指尖的定位、交互方式三个方面,论文的主要工作是：1、在手势分割阶段,针对肤色分割算法中存在的类肤色区域误识别的问题,本文提出了肤色和背景模型相结合的分割算法,用背景模型来去除一部分类肤色区域。算法首先建立基于肤色统计的肤色模型和基于累计的背景模型,并分别用两种模型对图像进行分割,同时更新背景模型,然后将两者分割的结果进行逻辑运算,最后通过连通域划分,得到最大的连通域即为分割出的手部图像。实验结果表明,这种方法在简单的环境下,能够滤除类肤色区域(与手部不重叠类肤色区域)的干扰,满足实时系统中手势分割的要求。2、在指尖定位阶段,本文根据手指的形态特征,提出了一种基于距离的指尖识别算法。算法首先对分割出来的手部图像进行轮廓跟踪,得到手势的感兴趣区域(Region of Interest,简称ROI)；对ROI进行二次扫描,通过计算图像的零阶矩和一阶矩得到手势的重心,比较手势边界点与图像重心的距离来判断指尖的位置。实验结果表明,这种方法能够准确的找到人手的最凸的位置,快速的定位指尖。3、在交互阶段,设计并实现了基于增强现实技术的虚实交互系统,该系统允许用户使用指尖缩放虚拟图片。根据双目视觉原理,利用几何的方法判断指尖是否接触到虚拟图片,从而触发缩放虚拟图片的事件,模拟实现了触摸屏功能,使交互更为自然与方便。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景与选题意义
• 1.1.1 增强现实概述
• 1.1.2 增强现实中的交互技术
• 1.2 增强现实技术的应用
• 1.3 研究动态
• 1.3.1 国外研究动态
• 1.3.2 国内研究动态
• 1.4 研究内容
• 1.5 论文结构
• 第二章 增强现实系统相关技术
• 2.1 跟踪注册技术
• 2.1.1 基于标记的跟踪注册技术
• 2.1.2 基于无标记的跟踪注册技术
• 2.2 人机交互技术
• 2.3 手势分割技术
• 2.3.1 基于肤色闽值的分割算法
• 2.3.2 基于生长的分割算法
• 2.3.3 基于背景的分割算法
• 2.4 ARTOOLKIT开发包
• 2.5 小结
• 第三章 基于增强现实的人手分割与交互技术
• 3.1 基于背景和肤色的人手分割
• 3.1.1 肤色模型
• 3.1.2 背景模型
• 3.2 指尖的检测与定位
• 3.2.1 跟踪人手的轮廓
• 3.2.2 确定ROI区域
• 3.2.3 确定指尖的位置
• 3.3 交互的判断
• 3.4 小结
• 第四章 系统的实现
• 4.1 系统的设计目标
• 4.2 系统实现平台
• 4.2.1 硬件平台
• 4.2.2 软件平台
• 4.3 系统框架
• 4.4 实验结果
• 4.4.1 人手分割实验
• 4.4.2 增强现实交互系统实验结果
• 4.5 小结
• 结论
• 1、全文工作总结
• 2、存在的问题及展望
• 参考文献
• 攻读学位期间的研究成果
• 致谢