提高多视点视频编码效率的技术研究

论文摘要

多视点视频是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信号,包含了丰富的3D场景信息,将广泛应用于任意视点视频/任意视点电视、3D视频/3D电视等多种正在兴起的多媒体业务。然而多视点视频的数据量随着摄像机的数目增加而线性增加,巨大的数据量已经成为制约其广泛应用的瓶颈。多视点视频编码(MVC)技术主要致力于如何提高多视点视频的压缩编码效率,越来越受到学术界和工业界的密切关注。目前,MVC将作为H.264/AVC的第四个增修案,由运动图像专家组和视频编码专家组共同组成的联合视频小组正致力于MVC的标准化工作。本论文主要研究提高MVC编码效率的技术,主要研究内容及成果如下:1. MVC参考预测结构对每个视点在时间方向上采用分层B帧预测结构。根据不同时间层视点间预测对编码效率的贡献系数不同,提出了一种MVC分级预测结构。该结构对于时间相关性占主导的时间层的图像将不使用视点间预测。2.在一个GOP内,对于不同的时间层的图像进行编码时,视点间参考图像对编码效率的贡献系数随着时间层的增加而减小。据此,提出了一种灵活MVC预测结构。当前编码图像的视点间参考图像对编码效率的贡献系数可由已编码图像预测得到。如果视点间参考图像对编码效率预测的贡献系数很小,当前编码图像仅使用时间参考图像。3.与单视点视频编码标准不同,MVC在使用时间参考图像去除时间冗余的基础上增加了使用视点间参考图像去除视点间冗余的可能。MVC空间DIRECT模式照搬H.264/AVC的参考图像选取方法,忽略了MVC参考图像列表的多样性。基于此,提出了一种改进的MVC空间DIRECT模式参考图像选取方法。4.多视点视频由一组摄像机同步拍摄得到。自动白平衡是摄像机内部完成颜色补偿的主要模块,如果每个摄像机都能通过自身参数调节使得所拍摄的图像颜色逼真,则整个MVC系统所有视点的图像就达到了颜色的一致性。提出了一种基于灰度颜色点提取的自动白平衡方法,具有良好的收敛性。5.实际中,各视点之间往往存在颜色差异,降低了MVC视点间预测的准确性。提出了一种基于颜色空间转换矩阵的MVC颜色补偿方法。该方法在RGB颜色空间上建立颜色补偿模型,并进一步将颜色补偿模型扩展到YCbCr颜色空间以适用现有视频编码标准。与原始视点间参考图像相比,经过补偿后的视点间参考图像与当前编码图像更为相似,从而提高了MVC的编码效率。此外,颜色补偿模型参数可以分别从编码端和解码端推导得出,不需要将其写入码流。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 多视点视频及其应用
• 1.2.1 多视点视频
• 1.2.2 多视点视频的应用
• 1.3 多视点视频编码研究现状
• 1.3.1 多视点视频编码
• 1.3.2 MVC 标准化进程
• 1.3.3 MVC 的功能需求
• 1.4 论文研究内容及贡献
• 第二章 基于H.264/AVC 的多视点视频编码
• 2.1 引言
• 2.2 H.264/AVC 简介
• 2.3 MVC 的研究内容
• 2.3.1 MVC 的预测结构
• 2.3.2 利用视点间相关性提高MVC 编码效率技术
• 2.3.3 利用视点间差异性补偿提高MVC 编码效率技术
• 2.3.4 MVC 高层语法
• 2.4 多视点视频编码的评价指标
• 2.4.1 MVC 统一测试条件
• 2.4.2 MVC 编码效率评价方法
• 2.5 小结
• 第三章 MVC 预测结构研究
• 3.1 引言
• 3.2 MVC 参考预测结构及性能分析
• 3.2.1 MVC 参考预测结构
• 3.2.2 评价指标与性能分析
• 3.3 MVC 分级预测结构
• 3.3.1 MVC 参考预测结构分析
• 3.3.2 MVC 分级预测结构
• 3.3.3 实验结果与性能分析
• 3.4 一种灵活的MVC 预测结构
• 3.4.1 GOP 内部视点间/时间相关性分析
• 3.4.2 灵活MVC 预测结构
• 3.4.3 实验结果与性能分析
• 3.5 小结
• 第四章 MVC DIRECT/SKIP 模式参考图像选取方法研究
• 4.1 引言
• 4.2 H.264/AVC DIRECT/SKIP 模式
• 4.2.1 P-SKIP 模式
• 4.2.2 DIRECT 模式
• 4.2.3 B-SKIP 模式
• 4.3 一种改进的MVC 空间DIRECT 模式参考图像选取方法
• 4.3.1 已有的MVC DIRECT/SKIP 模式
• 4.3.2 MVC 空间DIRECT 模式存在的问题
• 4.3.3 改进的MVC 空间DIRECT 模式参考图像选取方法
• 4.4 实验结果与性能分析
• 4.5 小结
• 第五章 基于摄像机参数调节的MVC 颜色补偿方法
• 5.1 引言
• 5.2 白平衡方法
• 5.2.1 数字处理模块简介
• 5.2.2 自动白平衡介绍
• 5.3 基于灰度颜色点提取的自动白平衡方法
• 5.3.1 基本思想
• 5.3.2 灰度颜色点的特性分析
• 5.3.3 GE-AWB 方法实现
• 5.3.4 GE-AWB 方法关键参数的确定
• 5.4 实验结果与有效性分析
• 5.4.1 GE-AWB 方法的收敛性测试
• 5.4.2 MVC 测试序列AWB 方法主观质量比较
• 5.4.3 有效性分析
• 5.5 小结
• 第六章 基于视点间参考图像调节的 MVC 颜色补偿方法
• 6.1 引言
• 6.2 颜色补偿的分析与建模
• 6.3 一种基于颜色空间转换矩阵的 MVC 颜色补偿方法
• 6.3.1 颜色补偿模型参数的求解
• 6.3.2 视点间参考图像颜色补偿
• 6.3.3 CSCM-CC 方法实现
• 6.4 实验结果与性能分析
• 6.5 小结
• 第七章 总结与展望
• 致谢
• 参考文献
• 攻读博士学位期间的研究成果