时空联合的视频对象分割

论文摘要

新一代多媒体标准MPEG-4和MPEG-7采用了基于内容的视频编码和视频描述框架,包括基于内容的压缩、可扩展性和可交互性等几方面内容。MPEG-4在编码之前将视频场景划分成若干有意义的视频对象（VO）,然后根据视频对象的形状、运动、纹理等信息进行编码。而MPEG-7是对各种多媒体对象统一的描述和各种多媒体接口的标准化,以实现高效的内容检索和查询。其中,视频对象分割技术是解决基于内容编码和描述问题的关键所在,直接影响着编码器的性能和视频描述的有效性。然而,MPEG-4和MPEG-7标准仅定义了视频的编解码过程和语法规则,并没有制定具体的视频对象分割方法。作为视频处理领域中的重要支撑技术,研究视频对象分割具有深远的现实意义和重大的应用价值。有鉴于此,本文重点研究视频对象分割技术。 本文介绍了视频对象分割技术在多媒体标准、视频监控、图像模式识别等领域的应用和研究状况,讨论了其在当今高速发展的信息时代的重要意义和应用价值,综述了国内外视频分割技术的发展现况,分析了交互式分割和自动分割技术。在此基础上,从空域帧内分割、全局运动估计与补偿、时域帧间分割、时空联合投影等几方面对视频对象分割算法进行了深入、充分的讨论,提出了相应的背景全景图重建方案。多组仿真实验结果检验了文中提出的视频对象分割方案和背景重建方案的有效性。 首先,在空域分割方面,针对传统分水岭变换对噪声和细密纹理敏感而易于产生过分割现象的问题,从图像预处理以及区域标记的角度改进了分水岭变换方案:①以开闭双重建的方法获取原始图像的形态梯度,采用一次开闭重建从整体上抑制图像噪声,之后采用二次开闭重建消除部分纹理产生的明暗细节;②提出了结合给定阈值变换和尺度等级划分的非线性处理方法,给定阈值变换可以减少区域极小值点,保留对象和背景之间的高梯度轮廓,尺度等级划分可以克服对象和背景内部细密纹理的影响,本质上具有区域合并的作用;③提出了一种基于像素连通性思想的改进的分水岭浸没标记算法,无需传统方法中的距离变换。测试结果表明,本文方案所得区域数量仅为传统方法的十分之一,且边缘定位准确,有效地避免了区域融合的后处理。 其次,在静止背景序列的运动检测方面,针对传统的区域基运动检测思想对物体内部纹理灰度一致性造成的“伪零帧差”区域判定的不稳健,提出了一种以边界运动信息表征区域运动性的检测思想,仅在空域分割所得区域的边界像素上进行高斯检验,根据边界上运动像素占边界像素总数的比例来确定该区域的运动与否,这在极大地降低了计算复杂度的同时,也显著提高了对具有内部纹理一致性区域的运动检测能力。测试结果表明,本文运动检测算法耗时仅为传统区域基算法的五分之一左右。 再次,在动态背景序列的运动检测方面,提出了在双尺度邻域上建立马尔可夫随机场模型的方法,突破了传统的单一邻域马尔可夫随机场模型对像素空域相关性的限制,并结合帧差图像的高斯混合分布模型建立时空运动检测模型,提出了简单且便于计算的系统能量函数。此外,针对静态前景区域,提出了通过相邻两帧运动模板的逻辑运算来进一步提取的方

论文目录

• 摘要
• Abstract
• 目录
• 插图清单
• 表格清单
• 第一章 绪论
• 1.1 引言
• 1.2 视频对象分割概念
• 1.3 视频分割的背景与意义
• 1.3.1 MPEG-4和MPEG-7领域
• 1.3.2 视频监控领域
• 1.3.3 模式识别领域
• 1.4 视频分割的研究现状与分类
• 1.5 本文研究目的与内容安排
• 第二章 空域帧内分割
• 2.1 引言
• 2.2 经典分水岭算法
• 2.2.1 经典分水岭算法思想
• 2.2.2 经典分水岭算法的定义
• 2.2.3 经典分水岭算法的实现
• 2.3 传统分水岭分割方案
• 2.3.1 基于对比度增强的方案
• 2.3.2 基于形态梯度的方案
• 2.4 改进的分水岭分割方案
• 2.4.1 主要框架
• 2.4.2 开闭双重建获取形态梯度
• 2.4.3 给定阈值变换
• 2.4.4 尺度等级划分
• 2.4.5 改进的分水岭标记算法
• 2.5 实验结果与分析
• 2.5.1 测试条件
• 2.5.2 测试图像
• 2.5.3 各步骤结果与对比
• 2.5.4 对关键模块的功能测试
• 2.5.5 参数对算法性能影响的测试
• 2.6 小结
• 第三章 全局运动估计与补偿
• 3.1 引言
• 3.2 摄像机全局运动参数模型
• 3.3 运动估计的原理及相关技术
• 3.3.1 两种运动估计的基本原则
• 3.3.2 块匹配的运动估计
• 3.3.3 运动估计中的搜索算法
• 3.3.3.1 全搜索算法
• 3.3.3.2 三步搜索算法
• 3.3.3.3 扩展菱形搜索算法
• 3.4 全局运动估计与补偿的实现
• 3.4.1 梯度下降算法
• 3.4.2 改进的三层迭代框架
• 3.4.3 全局运动补偿
• 3.5 实验结果与分析
• 3.6 小结
• 第四章 时域帧间分割
• 4.1 引言
• 4.2 背景运动性判断
• 4.3 静止背景序列的运动检测
• 4.3.1 区域及边界的获取
• 4.3.2 边界运动信息表征区域运动性
• 4.3.3 边界高斯检验获取运动区域
• 4.3.4 实验结果与分析
• 4.4 动态背景序列的运动检测
• 4.4.1 MRF与GRF理论
• 4.4.1.1 相关概念
• 4.4.1.2 Markov随机场
• 4.4.1.3 Gibbs随机场
• 4.4.1.4 等价关系
• 4.4.1.5 标记问题
• 4.4.2 运动检测的具体实现
• 4.4.2.1 双尺度邻域系及能量函数
• 4.4.2.2 高斯混合模型
• 4.4 2 3 EM算法
• 4.4.2.4 后验能量函数的优化
• 4.4.3 静态前景区域的检测
• 4.4.4 实验结果与分析
• 4.5 小结
• 第五章 对象提取与背景全景图重建
• 5.1 引言
• 5.2 时空投影提取视频对象
• 5.2.1 具体实现
• 5.2.2 实验结果与分析
• 5.2.2.1 对静止背景序列的分割
• 5.2.2.2 对运动背景序列的分割
• 5.3 背景全景图重建
• 5.3.1 Sprite技术
• 5.3.2 具体实现
• 5.3.3 实验结果与分析
• 5.4 小结
• 第六章 总结与展望
• 6.1 全文总结
• 6.2 工作展望
• 参考文献
• 作者攻读博士期间完成的论文
• 致谢