多摄像机人体跟踪技术的研究

论文摘要

随着计算机技术的发展,目标跟踪已经成为模式识别、图像处理、计算机视觉、武器制导等领域的重要研究课题。目标跟踪在军事、视频监控、智能交通和医学等方面具有广泛的应用。本文重点研究多摄像机视频监控系统中的人体跟踪技术,该课题的研究目的在于通过对摄像机采集的图像序列的分析处理,智能地提取视频中的人体目标的大小、方位、颜色等信息,实现对人体持续的跟踪,为更高层次的行为理解分析提供依据。本文对人体跟踪所涉及的人体区域提取、人体特征提取、人体的遮挡处理以及人体跟踪四个主要方面进行了研究与探讨。本文所研究的多摄像机跟踪是用于扩展监控区域,通过多个视频序列共同实现对人体的跟踪,因此本文主要研究同一个人在单个摄像机内部的人体跟踪和跨摄像机间的人体跟踪两部分。论文的主要工作包括:1、针对人体区域的提取问题,首先对视频序列的背景进行高斯建模,然后利用图切割方法将运动区域检测出来,接着利用目标分类方法提取出对应于人体的目标区域,最后基于阴影具有与背景相似的色度且其亮度比背景低的原理对阴影进行了去除。2、提出了融合人体颜色信息和位置信息来实现单摄像机内部的人体跟踪的方法。本文对传统均值偏移方法进行了改进,结合基于非参数核密度估计理论的人体颜色密度函数估计方法实现了首次出现在摄像机视场中的人体的颜色建模。针对首次以拥挤人群状态出现在视场中的人体的颜色建模问题,本文采用检测人头的方法首先将拥挤人群分割成独立的个体,利用改进的均值偏移方法对其进行区域分割,然后依据非参数核密度估计理论来估计人体颜色密度函数,同时根据人体颜色密度函数判断后续的每一帧视频图像中的人体属于哪个颜色模型,从而实现基于颜色信息的人体跟踪。同时,本文对衣服颜色相近时的情况进行了研究,通过由人体位置信息得到的距离矩阵来实现该情况下的人体跟踪,从而完成单摄像机内部的人体跟踪。3、多摄像机视频监控系统中的人体跟踪问题的实质是实现对穿越多个摄像机视频中的人体的匹配。由于视频监控系统中的人体成像较小,可将人体表面近似为局部平面,因此提出了以最稳定极值区域作为匹配特征的跟踪方法。该方法将人体跟踪转化为椭圆形区域的匹配,首先将最稳定极值区域拟合成椭圆形区域,然后选出符合约束条件的候选椭圆形区域,并将其归一化为单位圆,最后通过在圆形区域内计算旋转不变量和进行直方图密度估计实现椭圆形区域的正确匹配,从而实现了不同摄像机之间的人体跟踪。4、针对多个摄像机下遮挡情况时的人体跟踪问题,提出了利用人体三维位置信息的方法,该方法充分利用人体空间位置信息实现多个摄像机下遮挡时的人体跟踪。该方法首先对其中一个摄像机视频图像中的人体像素进行抽样,然后在另一个摄像机视频图像中找出抽样像素的匹配点,计算出每一对匹配点在世界坐标系中所对应的三维点,最后根据三维位置信息将这些三维点聚类,找出每一个聚类区域中所有三维点所对应的一组二维点,并对每一组二维点所对应的像素集的颜色分别构建高斯平滑直方图模型。本文首先依据经过高斯模板平滑的直方图模型将互相遮挡的人体分割开来,然后根据求取的人体像素点的匹配关系来确定遮挡时不同摄像机中同一个人的对应关系,从而有效地实现人体跟踪。

论文目录

• 致谢
• 摘要
• Abstract
• 目次
• 图目录
• 表目录
• 第1章 绪论
• 1.1 论文研究的背景和意义
• 1.2 视频监控系统的国内外现状
• 1.3 人体跟踪的相关技术
• 1.3.1 单摄像机中的人体跟踪技术
• 1.3.2 多摄像机中的人体跟踪技术
• 1.4 多摄像机视频监控系统中人体跟踪技术的难点
• 1.5 本文的研究内容及主要工作
• 1.6 论文的章节安排
• 第2章 人体区域提取
• 2.1 引言
• 2.2 本文的背景建模方法
• 2.2.1 背景颜色空间及单高斯背景模型
• 2.2.2 背景更新
• 2.3 基于图切割的人体区域提取算法
• 2.4 阴影去除
• 2.5 背景提取和人体区域提取的结果
• 2.6 本章小结
• 第3章 单摄像机下的人体特征提取及跟踪
• 3.1 引言
• 3.2 特征空间分析方法
• 3.2.1 概率密度估计
• 3.3 基于改进的均值偏移方法的图像区域划分
• 3.3.1 均值偏移算法的原理
• 3.3.2 边缘置信度
• 3.3.3 边缘置信度与均值偏移算法的融合
• 3.3.4 改进的均值偏移算法及区域划分
• 3.4 人体颜色特征的提取
• 3.4.1 拥挤人群的分割
• 3.4.2 人体颜色建模
• 3.5 人体位置信息的提取
• 3.6 单摄像机下的人体跟踪
• 3.6.1 基于颜色模型的人体跟踪
• 3.6.2 基于位置信息的人体跟踪
• 3.7 单摄像机下人体跟踪的实验结果
• 3.8 本章小结
• 第4章 多摄像机下公共可视区域中的人体跟踪
• 4.1 引言
• 4.2 不同摄像机之间公共可视区域（FOV）的确定
• 4.3 单应矩阵（Homography）的估计
• 4.4 宽基线图像匹配
• 4.4.1 特征选择
• 4.4.2 仿射不变特征区域
• 4.5 最稳定极值区域（MSER）
• 4.5.1 MSER原理
• 4.5.2 最稳定极值区域的提取算法
• 4.6 多摄像机下基于MSER的人体跟踪方法
• 4.6.1 椭圆区域拟合
• 4.6.2 候选椭圆形区域的筛选
• 4.6.3 候选椭圆形区域的匹配
• 4.6.4 错误匹配椭圆对的剔除
• 4.7 实验结果和分析
• 4.8 本章小结
• 第5章 多摄像机下公共可视区域中遮挡情况时的人体跟踪
• 5.1 引言
• 5.2 摄像机标定
• 5.2.1 线性摄像机模型
• 5.2.2 本质矩阵估计与运动分解
• 5.3 人体区域匹配点的获取
• 5.3.1 图像校正后的匹配点获取
• 5.3.2 图像校正前的匹配点获取
• 5.4 基于人体三维位置信息的跟踪方法
• 5.4.1 人体三维位置的求解
• 5.4.2 高斯模板平滑的直方图模型的建立
• 5.4.3 相似性计算
• 5.4.4 遮挡人体的分割
• 5.4.5 实验结果
• 5.5 本章小结
• 第6章 总结与展望
• 6.1 本文工作总结
• 6.2 研究展望
• 参考文献
• 攻读博士学位期间主要的研究成果