基于Wii Remote多点触控系统关键技术的研究与实现

论文摘要

计算机在各个应用领域的不断延伸使得现有人机交互通道的瓶颈效应日益突出,普适计算以及以人为本的交互理念促使自然的人机交互成为当前计算机应用研究的重要方向。而多点触控与语音识别、手势交互等成为了新一代人机交互领域的代表性技术。早期,多点触控技术由于复杂的技术原理和昂贵的价格使普通的用户望尘莫及。但随着计算机的处理能力的提高,多点触控技术不再依赖于昂贵的设备。以摄像头,传感器,电容电阻作为基础设备的多点触控设备应运而生。其中,基于视觉的多点触控技术以它的可扩展性和低成本,以及容易搭建的优势成为近几年的研究热点。本论文深入研究了目前多点交互设备的相关技术和原理,受到Wii Remote电子白板的启发,设计并实现了一个基于Wii Remote多点触控系统,为多点触控的输入技术(设备)的实现提出了一种新的方法。这种方法从某种意义上讲也是基于计算机视觉的,但是,由于Wii Remote可以直接返回红外LED笔在屏幕上位置对应的坐标,与传统的基于计算机视觉的多点触控系统(如FTIR)相比,没有相关的图像处理过程,因此对系统硬件的要求更低,而一般基于计算机视觉的多点触控系统以硬件为支撑,通过软件进行图像处理和应用程序的开发。另外,该系统实现的成本更低,而且更容易搭建,但也存在感应不够灵敏、定位不够精确等问题。由于Wii Remote具有同时检测4个红外点的能力,因此本研究采用两支红外LED笔作为红外光源,利用带红外摄像功能的Wii Remote采集红外LED笔在屏幕上的位置。通过Wii Remote对采集到的红外LED笔信号进行处理,解析出红外LED笔的在屏幕上的二维坐标值,再通过蓝牙模块将坐标信息传递至计算机接收软件,利用这两个点的坐标值(x1,y1),(x2,y2),通过开发相应的软件来读取传递来的数据并进行坐标转换,从而实现多点触控的各种功能。基于以上原理,本文利用XNA 3.0 framework开发了一个应用程序,实现了图片的平移、缩放和旋转等操作,初步验证了基于Wii Remote多点触控系统的可行性。另外,本论文还对其中所涉及到的HID(Human Interface Device)协议、Wii Remote与电脑的通信原理、坐标校正及转换、图像操作和干扰消除等关键技术进行了详细的研究和分析。最后,通过几个实验对该系统存在的一些问题进行了分析总结,对基于Wii Remote的多点触控系统的设计给出了一些指导意见。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 引言
• 1.2 多点触控技术研究及发展现状
• 1.2.1. 国内的研究现状
• 1.2.2. 国外的研究现状
• 1.3 论文的选题意义及主要研究工作
• 1.3.1. 选题意义
• 1.3.2. 主要研究工作
• 1.4 论文的结构
• 第二章 多点触控技术概述
• 2.1 多点触控输入技术
• 2.1.1. 基于传感器的多点触控系统（平台）
• 2.1.2. 基于计算机视觉的多点触控系统
• 2.2 多点触控交互技术
• 2.2.1. 基于手势识别的多点交互技术
• 2.2.2. 多手指（双手）交互技术
• 2.2.3. 笔和手交互技术
• 2.2.4. 多点触控的精度选择技术
• 2.2.5. 基于手指属性的交互技术
• 2.3 本章小结
• 第三章 WII REMOTE应用研究概况
• 3.1 WII REMOTE介绍
• 3.2 WII REMOTE原理
• 3.2.1. 红外光线（INFRARED RAYS）
• 3.2.2. 蓝牙技术（BLUETOOTH）
• 3.2.3. WⅡ REMOTE
• 3.3 基于WII REMOTE应用研究情况
• 3.3.1. 基于WII REMOTE的电子互动白板
• 3.3.2. WII REMOTE的手势识别
• 3.3.3. 其他一些应用
• 3.4 本章小结
• 第四章 WII REMOTE多点触控系统的设计与实现
• 4.1 WII REMOTE实现多点触控的原理
• 4.2 系统构成
• 4.2.1. 普通PC和蓝牙模块
• 4.2.2. 红外LED笔
• 4.2.3. 蓝牙驱动
• 4.2.4. 开发环境
• 4.3 系统软件设计
• 4.3.1. MANAGED WⅡ REMOTE LIBRARY（WⅡMOTELIB）
• 4.3.2. WII REMOTE蓝牙通信分析
• 4.3.3. 程序流程
• 4.3.4. 坐标校正
• 4.3.5. 将红外LED光源转化为二维坐标值
• 4.4 多点触摸应用的实现
• 4.4.1. XNA3.0 FRAMEWORK
• 4.4.2. 图片操作流程
• 4.4.3. 消除干扰点
• 4.4.4. 图片移动
• 4.4.5. 图片的缩放和旋转
• 4.4.6. 实现结果
• 4.5 本章小结
• 第五章 基于WII REMOTE的多点触控系统可用性分析
• 5.1 实验一
• 5.2 实验二
• 5.3 实验三
• 5.4 实验结论及分析
• 5.5 本章小结
• 第六章 总结和展望
• 6.1 总结
• 6.2 工作的不足和展望
• 致谢
• 参考文献
• 附录
• 附录A 攻读硕士学位期间发表的论文以及软件著作权
• 附录B WII REMOTE与电脑的连接