三维电视中编码技术研究

论文摘要

随着图像处理技术，3D显示技术以及网络基础设施的发展，三维电视（3DTV）有望成为下一代广播系统中最具有统治力的市场领域之一。相比于传统的单通道视频技术，三维视频技术至少要处理两倍的数据量，这样就对编码器的编码速度和压缩效率提出了更高的要求。本文主要研究三维视频系统中的彩色视频和深度视频的编码技术。（1）本章首先基于左右视点的相关性，提出了相似宏块的观念，利用相似宏块的特性，提出了基于HBP编码结构的立体视频编码中的快速编码算法。实验结果表明，所提出的算法在几乎不影响率失真性能的情况下，编码速度比原始的JMVM算法可以节约67.88%75.38%的编码时间。然后，分析了裸眼显示系统的显示原理，在提出的面向裸眼立体显示终端的框架下，对其编码端进行了优化。实验结果，所提出的算法相比原始的JMVM算法可以节约4.6%17.9%的编码码率，同时平均PSNR提高了0.18dB。（2）多个彩色视点加多个深度（Multi-view view plus depth, MVD）是三维场景表示的一种有效格式，与此同时，基于深度的虚拟视点绘制技术（depth-image-based rendering, DIBR）用来产生中间的虚拟视点。在此系统中，多个视点的信号在传输之前必须经过有效的压缩。但是，由于现有的深度序列获取方法的局限性，深度图序列的背景区域上存在着时域上的不一致性，而现有的深度压缩算法并没有考虑这个特性，以至于花费了额外的比特。根据这一特性，本文提出了基于彩色图像编码模式的深度视频预处理算法。实验结果表明，经过本算法处理后的深度序列，可以节约22%50%编码码率，同时能保证绘制虚拟视点主观质量不受影响，相比预处理前深度序列绘制结果虚拟视点的客观质量还有稍微的提高。（3）根据无绘制失真模型提出了深度无失真时间一致性预处理算法和基于无绘制失真模型的编码端残差编码算法。深度信息是用8位的灰度格式表示的，然而视差的范围要比255小的多。因此，多个深度值可能对应着同一个整像素（亚像素）视差，同时，深度值在某一范围内改变并不会改变此点的视差。本文基于无失真绘制模型，首先提出了深度无失真时间一致性预处理算法，实验结果表明，在虚拟视点绘制质量不变的情况下，本算法可以节约14.17%-74.55%的码率。最后本文提出了基于无绘制失真模型的编码端残差编码算法，实验结果表明，对于只有帧内模式的I帧，经过本节算法处理相比原始的编码压缩算法可以节约10%-25%左右的码率，相比于单独的I帧，所有帧可以节约5%-10%，同时几乎不影响虚拟视点的绘制质量。

论文目录

• 摘要
• Abstract
• 引言
• 1 绪论
• 1.1 选题背景
• 1.2 国内外研究现状
• 1.3 本文的研究内容和主要贡献
• 1.4 论文结构安排
• 2 三维视频编码技术研究
• 2.1 三维视频系统
• 2.2 三维场景的数据表示
• 2.2.1 基于几何的 3D 数据表示
• 2.2.2 基于图像的 3D 数据表示
• 2.2.3 3DTV 系统的 3D 数据表示
• 2.3 深度视频生成方法
• 2.4 三维电视视频编码技术
• 2.4.1 双通道立体视频压缩
• 2.4.2 多路彩色视频加多路深度图的 3DTV 视频编码
• 2.5 基于深度图的虚拟视点绘制技术
• 2.6 本章小结
• 3 三维电视中彩色视频编码算法研究
• 3.1 HBP 编码结构的特性分析
• 3.1.1 基于 HBP 与基于 IPPP 的结构的率失真性能比较
• 3.1.2 HBP 结构的复杂度分析
• 3.1.3 B 帧双向预测的统计分析及选择特性
• 3.2 基于 HBP 的立体视频快速编码算法
• 3.2.1 基于宏块模式的参考帧选择
• 3.2.2 基于视差估计的快速参考帧选择
• 3.2.3 实验结果及分析
• 3.3 面向裸眼立体显示终端的立体视频编码优化
• 3.3.1 3DTV 视频显示技术
• 3.3.2 基于视差图的立体视频编码方法
• 3.3.3 基于虚拟视点绘制技术的编码端优化算法
• 3.3.4 实验结果及分析
• 3.4 本章小结
• 4 深度视频时间一致性预处理算法研究
• 4.1 深度视频特性分析
• 4.1.1 深度序列时间不一致性
• 4.1.2 深度视频编码特性分析
• 4.2 彩色图像 SKIP 模式且运动矢量为（0,0）的块统计分析
• 4.3 基于彩色图像编码模式的深度视频预处理算法
• 4.4 实验结果及分析
• 4.4.1 原始深度与预处理后深度虚拟视点绘制质量对比
• 4.4.2 处理前与处理后深度图编码率失真性能的对比
• 4.5 本章小结
• 5 深度视频无失真处理与编码算法研究
• 5.1 深度视频无失真特性分析
• 5.2 基于深度绘制无失真模型的深度视频处理算法
• 5.2.1 深度空间相关性处理
• 5.2.2 深度视频的空间变换算法
• 5.2.3 深度视频时间一致性平滑算法
• 5.2.4 实验结果与分析
• 5.3 基于无绘制失真模型的深度编码编码端优化处理
• 5.3.1 基于无绘制失真模型的编码残差块补偿算法
• 5.3.2 实验结果与分析
• 5.4 本章小结
• 6 结论与展望
• 6.1 本论文工作总结
• 6.2 进一步的研究方向
• 参考文献
• 在学研究成果
• 致谢