使用单摄像机的人机交互系统

论文摘要

人机交互（Human-computer interaction,简称HCI）是研究人与计算机之间通过相互理解的交流与通信,在最大程度上为人们完成信息管理、服务和处理等功能的门技术学科。当前,人机交互技术已经从以计算机为中心逐步转移到以用户为中心。人体动作是一种自然、直观、易于学习的人机交互手段,以人体直接作为计算机的输入设备,人机间通讯将不再需要多余的媒体,用户可以简单地定义一种适当的动作来对周围的机器进行控制。因此,采用人体动作输入作为交互手段在人机交互技术中占有重要的地位。随着计算机视觉和图像处理技术的发展,基于视觉的动作识别技术日益受到重视,并被引入到人机交互系统之中。本文从计算机视觉的角度出发,研究了借助单个摄像机,通过对人体动作的识别,达到人机交互目的的相关技术。讨论并分析了包括计算机视觉、图像处理技术以及模式识别等领域的有关技术和方法。同时,结合实际应用的需求,我们对于一些方法进行了改进和整合。首先,本文系统地阐述了动作识别系统的主要流程和涉及的技术领域。对于目前动作识别应用中,已有的一些常用方法进行了分析和讨论。我们按照通常系统实现的框架和步骤作为介绍的顺序,条理清晰,对相关的方法做了综述和总结。刚刚进入此领域的研究者可以通过本文对于动作识别有一个全面的了解。之后,对于涉及的相关技术,本文分别做了详尽的阐述：背景去除是基于视觉的动作识别系统实现的必要过程。我们对于基本的背景去除方法进行了总结,并详细介绍了背景差分和混合高斯模型的去除方法。进而本文又针对于有效去除阴影的问题提出了两层背景去除法。人体信息参数化是为了将复杂的轮廓图像信息抽象成易识别的参数信息。我们总结了人体图像参数化的主要途径,分析了各种方法的适用条件。根据人机交互系统的需求,我们重点介绍了星形骨骼模型的构建方法。动作识别是整个系统的关键部分,常用的方法有基于样本和基于学习两种。本文对于这两种方法均做了分析,并从中分别选择了星形距离法和支持向量机这两种具体实现。对于每一帧进行识别后,得到了姿态特征序列。我们使用了一种基于姿态缓存的机制,将姿态特征串与动作行为相匹配。本文的创新点在于对传统算法进行了适当的改进,并结合了较新的研究成果,提升了算法的性能,并完成了可实用的交互系统。具体包括：我们提出了一种两层背景去除方法,使用图像中的色度和梯度信息,通过两个步骤的背景去除,较好解决了前景分割时阴影对人体轮廓的干扰。这使得系统对于使用环境的要求大大下降,提高了系统的可用性和稳定性。在识别阶段,我们创新性地结合了星形骨骼模型和支持向量机。交互系统对于效率的要求很高,我们使用星形模型将人体动作信息转换成简单易识别的参数,并较完整地保留了动作的特征。将此模型信息作为支持向量机中的特征空间,取得了高效且良好的识别效果。本文采用改进后的算法,实现了一套完整的人体动作识别系统,达到了实时的交互性。并通过大量的测试和实验数据,验证了算法的性能和效果。同时,此系统框架具有良好的通用性和可扩展性,有进一步改进提升的潜力。

论文目录

• 摘要
• 英文摘要
• 目录
• 插图目录
• 表格目录
• 第一章 绪论
• 1.1 研究背景及选题意义
• 1.2 相关研究现状介绍
• 1.2.1 人机交互
• 1.2.2 视觉识别系统
• 1.2.3 背景去除技术
• 1.2.4 动作识别技术
• 1.3 本文的贡献及主要工作
• 1.3.1 主要贡献
• 1.3.2 主要工作
• 第二章 图像背景去除技术
• 2.1 背景去除的作用
• 2.2 背景去除的基本方法
• 2.2.1 背景差分
• 2.2.2 混合高斯模型
• 2.3 两层背景去除法
• 2.3.1 基于色度的去除
• 2.3.2 基于梯度的去除
• 2.3.3 实验结果
• 2.4 本章小结
• 第三章 图像中的人体信息参数化
• 3.1 人体动作的表示方法
• 3.1.1 运动学模型
• 3.1.2 形状模型
• 3.1.3 图像描述符
• 3.2 星形模型
• 3.2.1 星形模型的构造方法
• 3.2.2 具体范例
• 3.3 本章小结
• 第四章 人体动作识别算法
• 4.1 动作识别的常用方法
• 4.1.1 基于样本的识别
• 4.1.2 基于学习的识别
• 4.2 星形距离
• 4.3 支持向量机
• 4.3.1 支持向量机基本原理
• 4.3.2 特征空间的选择
• 4.3.3 训练分类器
• 4.4 姿势特征串匹配
• 4.5 本章小结
• 第五章 交互系统实现
• 5.1 系统功能模块
• 5.2 系统核心算法
• 5.2.1 背景去除算法
• 5.2.2 图像参数化算法
• 5.2.3 动作识别算法
• 5.3 交互系统扩展
• 5.3.1 识别对象的通用性
• 5.3.2 多摄像机扩展
• 5.4 本章小结
• 第六章 实验结果及分析
• 6.1 实验数据
• 6.2 实验结果
• 6.2.1 背景去除实验结果
• 6.2.2 图像参数化实验结果
• 6.2.3 星形距离匹配结果
• 6.2.4 支持向量机识别结果
• 6.2.5 运行时间结果
• 6.2.6 测试识别结果
• 6.2.7 输出控制
• 6.3 结果比较
• 6.4 分析与讨论
• 6.5 扩展性实验
• 6.5.1 通用性实验
• 6.5.2 多摄像机实验
• 6.6 本章小结
• 第七章 全文总结与展望
• 7.1 本文工作
• 7.2 工作展望
• 参考文献
• 攻读硕士学位期间的研究成果
• 致谢