基于非对称放置双目摄像头的驾驶员姿态监控分析

论文摘要

本文的研究内容是利用两个非对称放置的摄像头，对驾驶员的头、肩、肘和手的位置与面积等分析判断，预知潜在的危险情况并防止其发生。行车过程中，驾驶员正面的深度信息变化不大，而其侧面信息内涵丰富，因而本文没有采用传统的双目视觉，而是通过两个非对称放置的摄像头来捕捉，即正侧面各放置一个摄像头，充分全面地获取驾驶姿态信息。研究内容主要分为分割、检测、跟踪和分析四部分。分割部分，首先使用拍摄的背景图像建立背景模型。然后利用背景减除法将运动的前景图象提取出来。检测部分，先根据人脸库的统计结果建立肤色模型，然后结合人体解剖学和肤色模型来定位脸部和双手。肩膀和肘部的定位一直是较难的问题。自定义了一些约束规则，结合人体结构定位肩膀。结合水平投影和边缘检测定位肘部位置。在跟踪部分使用了模板匹配方法，利用互相关准则进行脸、肩、肘和手的跟踪。分析模块根据自定义的非法姿态规则来判断驾驶员是否处于不安全的姿态。本文最终设计了一套姿态分析实验系统。系统简单易操作，无需任何接触式传感器的介入，仅需要两个普通摄像头，一台常见配置的主机。经实验证明，该系统可以识别非安全驾驶状态，并具有较好的时空性能。

论文目录

• 摘要
• ABSTRACT
• 图表目录
• 目录
• 1 绪论
• 1.1 引言
• 1.2 道路交通安全系统
• 1.2.1 道路交通安全系统中人的因素
• 1.2.2 汽车安全与ITS
• 1.2.2.1 汽车安全
• 1.2.2.2 ITS（Intelligent Transport System）
• 1.2.2.3 典型汽车主动安全技术
• 1.2.2.4 ITS发展现状
• 1.3 人体运动分析
• 1.3.1 人体运动检测
• 1.3.2 人体运动跟踪
• 1.3.3 人体的行为识别
• 1.3.4 人体姿态估计
• 1.3.5 相关商业产品介绍
• 1.4 论文的组织
• 2 驾驶员上半身主要部位检测
• 2.1 引言
• 2.2 非对称双目视觉与背景建模
• 2.2.1 非对称双目视觉特点
• 2.2.2 非对称摄像头的放置
• 2.2.3 建立背景模型
• 2.3 运动分割
• 2.3.1 数学形态学
• 2.3.1.1 结构元素
• 2.3.1.2 腐蚀
• 2.3.1.3 膨胀
• 2.3.2 背景减除法
• 2.3.3 改进的分割算法
• 2.4 脸部与双手的运动检测
• 2.4.1 人脸检测方法总结
• 2.4.2 颜色模型的选定
• 2.4.2.1 RGB颜色模型
• 2.4.2.2 HSV颜色模型
• 2.4.2.3 从RGB到HSV的转换
• 2.4.3 肤色模型的确定
• 2.4.4 肤色检测算法
• 2.4.5 脸部与双手定位算法
• 2.4.5.1 连通域的求取
• 2.4.5.2 定位算法
• 2.5 肩膀定位
• 2.5.1 Mask掩模法
• 2.5.2 人体结构法
• 2.6 肘部的定位
• 2.6.1 曲率法
• 2.6.1.1 轮廓跟踪
• 2.6.1.2 曲率
• 2.6.2 投影结合边缘检测法
• 2.6.2.1 投影
• 2.6.2.2 Sobel边缘检测算子
• 2.6.2.3 确定肘部
• 2.7 实验结果
• 2.8 本章小结
• 3 驾驶员上半身主要部位跟踪
• 3.1 引言
• 3.2 特征跟踪方法
• 3.2.1 基于先验人体模型
• 3.2.2 不基于先验模型
• 3.2.2.1 基于区域的跟踪
• 3.2.2.2 基于活动轮廓的跟踪
• 3.2.2.3 基于特征跟踪
• 3.3 自定义驾驶员上半身模型
• 3.4 驾驶员运动跟踪方法
• 3.4.1 模板匹配法（Template Matching）
• 3.4.1.1 互相关匹配
• 3.4.1.2 绝对差法
• 3.4.2 具体跟踪实现
• 3.5 正侧面信息对应
• 3.6 实验结果
• 3.6.1 侧面脸部跟踪结果
• 3.6.2 正面肩膀跟踪结果
• 3.6.3 正面肘部跟踪结果
• 3.7 本章小结
• 4 驾驶员姿态分析
• 4.1 引言
• 4.2 姿态分析的方法
• 4.2.1 统计法
• 4.2.1.1 HMM（Hiddden Markov Model）
• 4.2.1.2 动态贝叶斯网络（Dynamic Bayesian Network）
• 4.2.2 模板匹配法（Template Matching）
• 4.3 正面主要运动信息
• 4.3.1 头部（Head）
• 4.3.2 双手（Hands）
• 4.3.3 肩肘手夹角（Angle between shoulder，elbow and hand）
• 4.4 侧面主要运动信息
• 4.4.1 头部离正前方距离（Distance between Head and Front）
• 4.4.2 侧面身体前倾角
• 4.4.2.1 质心（Center of Mass）
• 4.4.2.2 身体前倾角（Body Inclination）
• 4.5 自定义驾驶员危险姿态定义
• 4.6 实验结果
• 4.7 本章小结
• 5 驾驶员姿态分析系统
• 5.1 引言
• 5.2 系统概况
• 5.2.1 开发工具
• 5.2.2 系统开发框架
• 5.2.3 系统流程
• 5.2.4 功能模块
• 5.3 系统特点与界面
• 5.3.1 系统特点
• 5.3.2 系统主界面
• 5.4 系统实验结果
• 5.4.1 正面视频中脸检测与跟踪
• 5.4.2 正面视频中双手检测与跟踪
• 5.4.3 侧面视频中的头部与双手定位
• 5.4.4 正面视频中肩膀定位
• 5.4.5 正面视频中肘部定位
• 5.4.6 姿态分析
• 5.5 实验系统性能评价
• 5.6 本章小结
• 6 总结与展望
• 6.1 本文总结
• 6.2 下一步工作展望
• 致谢
• 参考文献