移动与可穿戴计算受限视场交互模型与关键问题研究

论文摘要

近十年来,移动计算与可穿戴计算技术得到了迅速发展,特别是近年来随着各类智能手机、超移动计算机、平板电脑与头戴显示器的日益普及,移动与可穿戴计算中的人机交互问题正在被人们所日益重视。目前,移动与可穿戴计算在人机交互输出方面主要基于受限视场的手持小屏幕显示与头戴显示,在交互输人方面主要基于指点操作的文本录入与光标定位。然而,交互所基于的受限显示视场设备,使之存在着目标尺寸泛化(微小交互目标与常规交互目标并存,即泛目标),及显示视场泛化(视场受限且视场值易于变化,即泛视场)的突出问题。这些问题将对以指点交互为基础的移动与可穿戴计算中的人机交互绩效造成显著影响,并带来理论研究方面的困难。此外,其受限显示视场设备的绩效评估问题及交互界面调整问题,亦将降低移动与可穿戴计算交互的可用性。针对这些问题的,交互绩效研究、新理论模型构建、相关交互(评估)方法的改进工作,将具有理论与应用方面的双重价值。本文研究将围绕移动与可穿戴计算受限视场交互模型与关键问题展开。本文课题直接来源于国家高技术研究发展计划(863计划)“基于自由曲面棱镜的超轻型大视场视透式头戴显示器研究”(项目编号：2009AA01Z310)与“专用可穿戴网络终端体系结构及关键技术研究”(项目编号：2006AA01Z113),主要创新成果及工作内容如下1.提出了一种泛目标交互模型,为相同受限视场条件下的不同目标(泛目标)交互提供了理论支撑与研究工具：对传统Fitts’模型在泛目标条件下的可用性进行分析,定量证明了其不可用；基于Shannon定理和人体运动力学结构提出了一种泛目标交互难度系数定义,并基于此构建了一种新的物理交互模型——泛目标交互模型；基于交互实验对泛目标条件下的交互绩效进行了定量研究,提出了新模型的边界适用条件；评估了本文所提出的新模型,结果表明泛目标交互模型在目标尺寸泛化的情况下,可以很好的作为交互绩效的分析模型与预测模型。2.提出了一种泛视场交互模型,为不同受限视场(泛视场)条件下的相同目标交互提供了理论支撑与研究工具：定量证明了泛视场条件对于交互绩效影响的显著性,及传统模型在此条件下的不可用性；基于Shannon定理和人因学机理提出了一种泛视场交互难度系数定义,并基于此构建了另一种新的物理交互模型——泛视场交互模型；在多种任务条件下对泛视场交互绩效进行了定量研究,提出了新模型的边界适用条件；对本文所提出的新模型进行了评估验证,结果表明泛视场交互模型在显示视场泛化的情况下,可很好的作为交互绩效的分析模型与预测模型。3.提出了基于交互测试及泛目标交互模型的头戴显示器绩效评估方法,解决了其传统评估方法难度高(需要专业设备、软件及背景知识),大众可用性差的问题：基于人机系统操作者模型分析了显示激励与人机系统的关系;划分了影响头戴显示器综合交互绩效和图像绩效的各个因素,并提出了对比交互测试的三步过程与七条准则；通过对比交互测试,定量分析了三种待测头戴显示器对于交互绩效的影响；提出了头戴显示器绩效评估的两种新方法,即：基于交互测试与COM模型的评估方法,基于交互测试与泛目标模型的评估方法；同时开展的传统评估方法结果表明,本文所提出的两种方法皆可用于头戴显示器综合交互绩效和图像绩效的评估。其中,基于交互测试与泛目标模型的评估方法更优,并相对于传统方法具有较高的易用性。4.分别针对头戴显示器与手持小显示屏,提出了两种基于泛视场交互模型的自适应界面缩放方法。该方法既消除了受限视场交互设备属性及用户交互姿态的不同,对于交互绩效的负面影响,又解决了传统界面缩放方法均需用户进行手动调节的问题：基于泛视场交互模型边界条件提出了头戴显示器与手持小屏幕设备交互界面的自适应缩放方法;基于所设计的头戴显示器样机及配套的自制X86主板,利用EEDID信息对头戴显示器的界面自适应缩放进行了系统实现;基于Adaboost人眼跟踪算法对手持显示屏的界面自适应调整进行了实现研究;对两类设备交互界面缩放前后的交互绩效进行了对比评估,结果表明针对受限视场设备进行此类GUI缩放调整,有利于得到较高的指点交互绩效。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 研究背景分析
• 1.2.1 人机交互及其范式
• 1.2.2 移动计算范式及其交互方式
• 1.2.3 可穿戴计算范式及其交互方式
• 1.2.4 人机交互模型
• 1.2.5 受限视场交互中的人因学
• 1.2.6 人机交互中的实验研究方法
• 1.2.7 移动与可穿戴计算受限视场交互中的主要问题
• 1.3 本文研究内容与结构安排
• 第二章 适用于受限视场的泛目标交互模型研究
• 2.1 引言
• 2.2 泛目标交互条件描述
• 2.3 泛目标条件下传统Fitts’模型的可用性分析
• 2.4 基于Shannon定理的泛目标交互难度系数与泛目标交互模型构建
• 2.5 受限视场及复杂显示条件下的泛目标交互绩效
• 2.6 泛目标交互模型的可用性研究
• 2.6.1 模型的可描述性验证
• 2.6.2 模型的可预测性验证
• 2.7 本章小结
• 第三章 适用于受限视场的泛视场交互模型研究
• 3.1 引言
• 3.2 泛视场交互空间描述
• 3.3 泛视场条件对于交互绩效影响的显著性研究
• 3.4 基于Shannon定理的泛视场难度系数与泛视场模型构建
• 3.4.1 泛视场难度系数的人因学机理
• 3.4.2 泛视场难度系数与泛视场模型的定义与推导
• 3.5 泛视场条件下的Fitts’交互绩效研究
• 3.5.1 基于ESD的泛视场交互绩效
• 3.5.2 基于HMD光学系统的泛视场交互绩效
• 3.6 泛视场交互模型的可用性研究
• 3.6.1 模型的边界适用条件及其对交互设计的建议
• 3.6.2 模型的可描述性验证
• 3.6.3 模型的可预测性验证
• 3.7 本章小结
• 第四章 基于交互测试与泛目标模型的HMD绩效评估方法研究
• 4.1 引言
• 4.2 基于MTF的传统HMD绩效客观评估方法
• 4.3 HMD与人机系统的关系
• 4.3.1 显示激励与人机系统绩效的关系
• 4.3.2 影响交互绩效的HMD视觉属性划分
• 4.4 基于交互测试的HMD绩效评估方法
• 4.4.1 HMD及其理想原型的比照交互测试
• 4.4.2 基于COM模型的HMD绩效评估
• 4.4.3 基于泛目标交互模型的HMD绩效评估
• 4.4.4 新评估方法与传统评估方法的结果对比
• 4.5 本章小结
• 第五章 基于泛视场交互模型的GUI自适应缩放方法研究
• 5.1 引言
• 5.2 基于泛视场模型边界条件的GUI缩放算法
• 5.2.1 用于HMD的GUI缩放算法
• 5.2.2 用于HSD的GUI缩放算法
• 5.3 GUI缩放在HMD与HSD上的技术实现
• 5.3.1 基于EEDID信息的HMD GUI自适应缩放实现
• 5.3.2 基于Adaboost人眼跟踪的HSD GUI自适应缩放实现
• 5.3.3 GUI缩放后的绩效评估
• 5.4 本章小结
• 第六章 结论和展望
• 6.1 本论文研究总结
• 6.2 前景展望
• 致谢
• 参考文献
• 攻博期间取得的研究成果