基于3D视觉刺激器的BCI系统的设计与实现

论文摘要

脑机接口（Brain-Computer Interface,BCI）是近年来发展的一门新兴的、多学科交叉的人机接口技术。它是一种不依赖于人正常外围神经和肌肉组织而构成的通讯系统。基于脑电图（EEG）的脑机接口具有成本低、操作方便、对大脑无损伤等优点,是当前脑机接口研究的主要方向。脑机接口系统的研究具有明确的临床应用背景,在康复医疗应用领域,它为肌肉运动功能受损的人群,提供了一种全新的与外界信息交流的方式。因此,研究开发脑机接口系统具有重要意义。本文在查阅大量国内外研究文献的基础上,以基于三维视觉刺激器的脑机接口系统为研究对象,设计并实现视觉刺激器,同时对左右手运动想象过程中大脑感觉运动皮层Mu节律的事件相关去同步（ERD）进行了深入研究,具体研究内容如下:①设计并实现三维视觉刺激器。本文采用了一种基于目标关键动作的过程控制策略,通过控制静态模型库的动作序列进而产生三维肢体运动效果,保证了系统的实时性,有效性与可扩展性。确定了以OpenGL作为刺激器系统开发的核心技术方案,实现了三维模型的渲染与灵活控制。采用模型顶点与面片分开存储的方式降低系统对存储空间的占用率;应用Gouraud明暗处理方法实现模型表面光滑渲染;设计了一种带模型缓存区的多缓存机制解决动作实时性显示问题;利用高精度多媒体定时方式完成动作的精确控制。经过验证,系统满足实际应用的要求。②完成运动想象脑电特征的提取和识别。重点研究运动想象Mu节律脑电信号的ERD特征。通过对比主流的时频分析方法,本文采用希尔伯特黄变换（HHT）对脑电信号进行时频分析,得到脑电信号对应的边际谱与瞬时幅值谱。在此基础上,根据Fisher可分性判据准则实现了不同受试者Mu节律显著ERD的个性化特征分析,找到Mu节律的优选频带与时间窗口参数。为进一步提高脑电信号的信噪比,采用改进公共空间模式（CSP）算法处理信号,并针对在少导联条件下,脑电信号经CSP滤波得到的标量特征表现出的信息不稳定问题,以及直接组合滤波信号表现出的特征向量空间过大问题,对特征选取做了改进处理,结合时域二阶矩能量分析方法,提取经滑动窗截取降维后的能量特征,基于提取的特征对脑电信号进行识别。③设计并完成脑机接口系统实验。本文设计了三种不同方式的视觉刺激:无目标抓握、静态目标导向抓握、动态目标导向抓握。对实验中的动作定时精度结果,脑电信号特征分类结果做出具体分析。本文对基于三维视觉刺激器的运动想象脑机接口系统的研究,为后续从离线脑机接口系统到在线脑机接口系统的跨越奠定了研究基础。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 脑机接口概述
• 1.2 脑机接口系统基本组成与关键技术
• 1.2.1 脑机接口系统组成
• 1.2.2 脑机接口系统关键技术
• 1.2.3 脑机接口系统评估标准
• 1.3 脑机接口系统研究背景
• 1.3.1 国外脑机接口研究背景
• 1.3.2 国内脑机接口研究背景
• 1.3.3 脑机接口与虚拟现实结合的研究进展
• 1.3.4 脑机接口研究中存在的问题
• 1.4 脑机接口系统研究意义及应用
• 1.5 本文的研究目的及内容
• 1.5.1 本文研究目的
• 1.5.2 本文研究内容
• 2 基于运动想象脑电信号的生理基础
• 2.1 运动想象的概念
• 2.2 脑电信号基础
• 2.2.1 大脑生理基础与脑电产生机理
• 2.2.2 脑电图及电极安放位置
• 2.2.3 常见的脑电节律
• 2.2.4 脑电信号特点
• 2.3 Mu 节律的事件相关同步化与去同步化
• 2.3.1 Mu 节律生理基础
• 2.3.2 ERD/ERS 现象
• 2.4 本章小结
• 3 基于三维视觉刺激器的 BCI 系统平台总体设计
• 3.1 基于三维视觉刺激器的BCI 系统需求
• 3.2 基于三维视觉刺激器的BCI 系统总体设计
• 3.3 脑机接口三维视觉刺激器系统
• 3.3.1 三维视觉刺激器的设计策略
• 3.3.2 三维视觉刺激器的技术路线
• 3.3.3 三维视觉刺激器的总体结构
• 3.4 脑机接口采集系统
• 3.4.1 脑电采集系统的组成
• 3.4.2 Active One 生理信号测量系统
• 3.5 双机同步通讯
• 3.6 脑电信号处理
• 3.7 本章小结
• 4 三维视觉刺激器的设计与实现
• 4.1 三维仿真技术的基础
• 4.1.1 三维建模的方法
• 4.1.2 基于OpenGL 的真实感图形绘制技术
• 4.2 视觉刺激器动作模型的建立
• 4.2.1 动作模型的建立
• 4.2.2 动作模型库的建立
• 4.3 视觉刺激器动作模型的渲染
• 4.3.1 渲染开发环境搭建
• 4.3.2 动作模型的存储
• 4.3.3 动作模型的渲染
• 4.4 视觉刺激器动作模型的运动
• 4.4.1 动作模型的运动编辑
• 4.4.2 动作模型的实时显示
• 4.5 视觉刺激器的外部通信
• 4.6 视觉刺激器的程序流程
• 4.7 视觉刺激器的仿真实例
• 4.7.1 仿真界面
• 4.7.2 仿真结果
• 4.7.3 参数设置
• 4.8 本章小结
• 5 基于 Mu 节律运动想象脑电信号的研究与分析
• 5.1 Mu 节律脑电信号的预处理
• 5.1.1 脑电信号的滤波
• 5.1.2 脑电信号的端点检测
• 5.2 Mu 节律脑电信号的时频分析
• 5.2.1 短时傅里叶变换与小波变换
• 5.2.2 希尔伯特-黄变换
• 5.2.3 三种时频信号处理方法的比较
• 5.2.4 脑电信号的希尔伯特黄变换
• 5.3 Mu 节律脑电信号的参数优选
• 5.3.1 Fisher 可分性判据
• 5.3.2 基于Fisher 可分性判据Mu 节律频带的优选
• 5.3.3 基于Fisher 可分性判据Mu 节律时间窗的优选
• 5.4 Mu节律脑电信号的时域二阶矩能量特征分析
• 5.4.1 Mu 节律时域能量分析
• 5.4.2 Mu 节律时域二阶矩能量特征分析
• 5.5 Mu 节律脑电信号的公共空间模式分析
• 5.5.1 公共空间模式算法
• 5.5.2 公共空间模式算法的局限性及改进处理
• 5.5.3 基于CSP 滤波的时域二阶矩能量处理
• 5.6 想象运动脑电信号的分类识别
• 5.7 本章小结
• 6 实验结果及分析
• 6.1 实验设计
• 6.2 实验过程
• 6.3 实验结果与分析
• 6.3.1 时间同步控制
• 6.3.2 脑电信号分类结果及分析
• 6.4 本章小结
• 7 总结与展望
• 7.1 工作总结
• 7.2 不足之处与展望
• 致谢
• 参考文献
• 附录
• A. 作者在攻读学位期间发表的论文目录
• B. 作者在攻读学位期间取得的科研项目目录