基于投影显示的增强现实人机交互技术

论文摘要

基于投影显示的空间增强现实（Projector-based Augmented Reality，PBAR）是增强现实领域的一个研究热点。此类增强现实是对环境表面信息的直接增强，相对于头戴式或者手持式增强现实，它拥有更好的增强效果、更多的用户自由度以及更宽广的视场等优点，因此得到越来越广的研究和应用。然而，目前对投影空间增强现实的研究基本上集中在光学矫正和几何校准领域，对该投影环境下人机交互技术的研究却比较少。随着基于投影的空间增强现实环境应用的普遍，对人机交互的需求越来越多，要求也越来越高。基于这个出发点，本文将有形操作界面（Tangible User Interface，TUI）人机交互技术引入PBAR，研究特殊投影环境下合适的人机交互模式。TUI的核心思想是建立起真实世界中的物理实体和信息世界中的虚拟信息之间的映射关系，人们通过操作这些耦合了虚拟信息的物理实体从而实现对虚拟信息的操作，如同在直接操作虚拟信息一样。本文提出了三种类型的PBAR环境下的人机交互方式：小规模TUI人机交互、中等规模TUI人机交互和全局TUI人机交互。这三种人机交互方式的设计思想和实现方法都来自于TUI理论和技术，区别在于各自的交互实体的规模大小，有个逐渐递增的关系。对于不同的交互方式的特点以及其应用场合，本文都做了一定的分析。本文的具体工作主要包括以下4个方面：（1）解析了小规模TUI人机交互的含义和设计模式，以原型交互系统“戏鱼”为例说明。（2）设计并实现了中等规模TUI人机交互原型系统——“琴韵”，并分析了中等规模TUI人机交互的一般模型和特点。（3）设计并实现了全局TUI人机交互原型系统——“浮云”，并分析了全局TUI人机交互的一般模型和特点。（4）对PBAR环境下的三种类型的TUI人机交互作了实验评估，从可用性、有效性、可学性三个方面考察人机交互方式，以方便性、一致性、趣味性、有效性和准确性5个指标设计评估实验，并分析了实验结果。

论文目录

• 摘要
• ABSTRACT
• 插图目录
• 表格目录
• 第一章 绪论
• 1.1 研究背景及选题意义
• 1.2 增强现实相关研究
• 1.2.1 增强现实的分类
• 1.2.2 基于投影显示的增强现实及其特点
• 1.2.3 基于投影显示的增强现实的技术要点
• 1.3 人机交互简述
• 1.3.1 人机交互的定义
• 1.3.2 人机交互发展史和未来展望
• 1.3.3 人机交互的主要研究内容
• 1.4 投影和增强现实环境中的人机交互
• 1.4.1 投影环境中的人机交互
• 1.4.2 增强现实环境中的人机交互
• 1.4.3 PBAR人机交互的新特性
• 1.5 本文主要研究工作及章节安排
• 第二章 TUI技术的应用与研究
• 2.1 引言
• 2.2 TUI人机交互技术
• 2.2.1 TUI的提出与发展
• 2.2.2 TUI的统一概念框架
• 2.2.3 TUI交互方式的一般设计方法
• 2.2.4 TUI技术的应用范围和前景
• 2.3 TUI技术在增强现实中的应用
• 2.4 本章小结
• 第三章 基于TUI技术的PBAR人机交互设计
• 3.1 引言
• 3.2 PBAR中的小规模TUI交互设计
• 3.2.1 基于ARToolKit的原型交互系统
• 3.2.2 系统交互方式设计
• 3.3 PBAR中的中等规模TUI人机交互
• 3.3.1 基于音频识别的原型交互系统
• 3.3.2 系统交互方式设计
• 3.4 关于PBAR环境下中、小规模TUI人机交互的分析
• 3.4.1 理论根据
• 3.4.2 应用特点、优势和局限性分析
• 3.5 本章小结
• 第四章 TUI技术在PBAR中的扩展
• 4.1 引言
• 4.2 人脸检测方法
• 4.2.1 人脸检测常用方法
• 4.2.2 Haar特征的选取及特征值计算
• 4.2.3 AdaBoost算法
• 4.2.4 人脸检测实施过程
• 4.3 PBAR中的全局TUI人机交互
• 4.3.1 基于人脸检测的原型交互系统
• 4.3.2 系统交互方式设计
• 4.4 关于PBAR环境中全局TUI人机交互的分析
• 4.4.1 理论根据
• 4.4.2 应用特点分析
• 4.5 本章小结
• 第五章 PBAR环境下TUI人机交互的评估
• 5.1 引言
• 5.2 交互方式评估方案
• 5.2.1 交互方式评估内容
• 5.2.2 交互方式评估标准
• 5.2.3 实验设计
• 5.3 评估结果及分析
• 5.3.1 独立评估结果及分析
• 5.3.2 对照性评估结果及分析
• 5.4 本章小结
• 第六章 全文总结与展望
• 6.1 全文工作总结
• 6.2 未来工作展望
• 参考文献
• 攻读硕士学位期间的研究成果
• 致谢