自然三维电视虚拟视点渲染方法研究

论文摘要

自然三维电视(3DTV)可以让观看者从多个角度感受到其立体效果,所以电视接收端必须提供多路视频来实现多个角度的立体感知。目前的电视带宽还不能满足同时传输多路视频,因此只有在视频解码之后渲染新的视点才能实现多个左右眼对的匹配以满足多角度的立体感受。基于深度的图像渲染(DIBR)由于其简单及可靠性而被认为是渲染自然三维电视虚拟视点的主要方法。基于深度的图像渲染能够利用一副彩色图及其对应的深度图像来渲染任意视点的二维图像,但是其渲染图像质量并不理想,存在大量暴露区域,我们称之为“空洞”,传统的减少空洞的方法是平滑深度图像,并且最后利用图像修复算法处理剩余暴露区域。平滑深度图像会引入图像形变及几何扭曲,图像修复算法一般都比较复杂,而且不能产生更加自然真实的纹理信息。本论文从不预处理深度图、获取更加真实的虚拟视点图像出发,深入研究分析了DIBR存在的问题,提出了一种不预处理深度图像的双向的DIBR算法和一种基于运动矢量在参考视点图像序列中搜索真实纹理修复空洞区域的单向的DIBR算法。(1)双向DIBR:利用左右参考视点的彩色图像及其对应深度图像渲染并合成虚拟视点图像。本方法的创新在于：提出了一种一个像素投射四个坐标位置(One Pixel to Four Dot, OPFD)算法来解决3DWarping的重叠及重采样问题,该算法在不引入图像几何失真的基础上极大的减少了暴漏区域；最后在图像融合的过程中提出了分区域融合消除虚拟视点图像边缘伪影算法及其简化算法。本方法由于其未引入图像几何失真且融合算法有效,渲染出的虚拟视点图像质量理想。(2)单向DIBR:利用一幅参考试点的彩色图像及其深度图像来渲染任意虚拟视点图像。本方法首先利用OPFD算法来解决重叠与重采样问题；其次从参考视点图像中寻找虚拟视点暴露区域背景边缘的精确匹配坐标点；最后利用视频编码过程产生的运动矢量在参考视点视频图像序列中搜索最佳的纹理像素并水平填充暴露区域。提出的方法由于其直接采用真实的纹理像素填充暴露区域,其图像质量真实理想。论文最后总结了该领域尚待解决的问题以及下一步的研究重点。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 三维电视发展历史及其现状
• 1.2 3DTV系统及其关键技术
• 1.3 本论文的研究内容和主要贡献
• 1.4 论文的章节安排
• 第二章 虚拟视点渲染方法研究
• 2.1 自然3DTV基本原理
• 2.2 虚拟视点渲染的两类方式
• 2.2.1 基于模型的视点绘制
• 2.2.2 基于图像的视点绘制
• 2.3 基于深度的图像渲染
• 2.3.1 DIBR基本原理
• 2.3.2 DIBR存在的主要问题
• 2.3.3 DIBR处理方法研究
• 2.4 本章小结
• 第三章 不预处理深度图像的DIBR算法研究
• 3.1 DIBR存在的其它问题
• 3.1.1 重叠问题及其解决办法
• 3.1.2 重采样问题及其解决办法
• 3.1.3 伪影问题及其解决办法
• 3.2 不预处理深度图像的DIBR算法
• 3.2.1 不预处理深度图像的DIBR系统
• 3.2.2 OPFD算法
• 3.2.3 空洞图像融合算法
• 3.3 仿真实验结果和讨论
• 3.4 本章小结
• 第四章 基于运动矢量的虚拟视点图像修复方法研究
• 4.1 立体视频编码原理
• 4.2 MVC编码介绍
• 4.2.1 MVC的几种基本预测结构
• 4.2.2 MVC的一些预测工具及算法
• 4.2.3 “视频加深度”的编码方式
• 4.3 基于运动矢量的虚拟图像修复算法
• 4.3.1 虚拟视点图像空洞区域特点及算法原理
• 4.3.2 空洞边缘点与参考图像坐标匹配算法
• 4.3.3 基于运动矢量的虚拟图像修复算法
• 4.4 实验仿真与讨论
• 4.5 本章小结
• 第五章 总结与展望
• 参考文献
• 致谢
• 攻读学位期间研究成果
• 学位论文评阅及答辩情况表