基于图像绘制的Image Warping理论与方法研究

论文摘要

对交互性、实时性和沉浸感的追求一直是虚拟现实研究的目标。由于具有与场景复杂度无关，真实感强等特点，基于图像的绘制技术（IBR）在近十年来成为虚拟现实成像技术的研究热点。其中，带有部分几何信息的深度图像绘制，由于仅耗费有限的存储资源且视点自由度高，成为最实用的IBR技术之一。作为深度图像绘制的核心，Image Warping从包含深度信息的参考图像来生成新视点下的目的图像，成为构建众多IBR漫游系统的有效途径。对Image Warping理论和方法进行研究和改进是提高虚拟现实系统性能的根本动力。 本文研究基于图像绘制中Image Warping的理论和方法，分析了正向和逆向Image Warping中存在的问题和原因，从基本映射原理出发，在研究总结前人成果的基础上试图给出一些新的模型和方法。主要工作包含以下内容： （1） 提出一种缩放Image Warping算法（Zoom Image Warping Algorithm）。针对正向Image Warping中存在的映射出界和空洞问题，设计了视景收缩方法在参考域中快速确定对应边界参考像素的位置，并获得有效参考区域，然后采用模板映射有效填补空洞。该算法通过调整目标图像绘制顺序和映射方向，避免了大量冗余计算；同时，充分利用模板技术避免了大量逆向映射的建立，在获得不错绘制效果的同时，进一步提高了计算效率。 （2） 提出一种多参考域无Z-Buffer的可见性绘制方法。针对传统无Z-Buffer的绘制技术只能局限于单参考域的问题，引入一个中间视点调整多个参考域之伺采样光线的排序关系，给出了一种可行的多参考域无Z-Buffer绘制方法，并从理论和实验两方面证明了该方法具有正确的可见性。该方法的优点还在于无需引入新的软件模型及进行繁琐的预处理工作。 （3） 提出一种利用多参考域约束关系的快速逆向Image Warping算法—交叉线段算法（Crossed Segment Algorithm，简称CSA）。该算法通过在多个已知深度信息的参考域间建立新的约束关系，利用极线段方程的求解来寻找匹配像素，避免了传统沿极线逐像素搜索验证的过程。这种用求解替代搜索的方法，将单次匹配从极线复杂度降低到边界像素链表复杂度，经实验证明起到了有效的加速作用。 （4） 提出一种用于逆向Image Warping的搜索转移算法（Search Transform Algorithm，简称STA）。该算法从极线几何特性出发，将大量匹配搜索运算从参考域转移到目的域。由于目的域搜索过程的复杂度大大低于参考域，而利用空间连贯性又能显著降低参考域的搜索长度，因此STA可以大大降低整个搜索过程的计算量，显著提高计算速度。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 引言
• 1.2 基于几何模型的绘制技术
• 1.2.1 关键技术
• 1.2.2 存在问题
• 1.3 基于图像的绘制技术
• 1.3.1 无几何信息的图像绘制
• 1.3.2 包含几何信息的深度图像绘制
• 1.4 Image Warping国内外研究现状
• 1.4.1 正向Image Warping
• 1.4.2 逆向Image Warping
• 1.4.3 Image Warping相关技术
• 1.4.4 Image Warping技术的应用
• 1.5 本文工作
• 1.5.1 课题来源
• 1.5.2 本文的主要研究工作
• 1.5.3 组织结构
• 2 Image Warping的相关理论及模型
• 2.1 引言
• 2.2 相机模型
• 2.3 坐标变换
• 2.4 极线几何
• 2.5 正向映射
• 2.5.1 正向映射公式的推导
• 2.5.2 正向映射公式的求解
• 2.6 逆向映射
• 2.6.1 逆向映射公式
• 2.6.2 极线搜索的有效范围
• 2.6.3 极线搜索的顺序
• 2.6.4 计算需要的普遍视差
• 2.6.5 逆向映射算法流程及效率分析
• 2.7 本章小结
• 3 正向Image Warping的相关算法研究
• 3.1 引言
• 3.2 缩放Image Warping算法
• 3.2.1 正向Image Warping中存在的问题
• 3.2.2 算法原理
• 3.2.3 视景收缩
• 3.2.4 模板映射
• 3.2.5 实验结果
• 3.2.6 算法小结
• 3.3 多幅参考图像的无Z-Buffer绘制
• 3.3.1 无需Z-Buffer的绘制技术
• 3.3.2 存在的问题
• 3.3.3 采样光线的空间一致性
• 3.3.4 算法原理
• 3.3.5 第一步：将参考图像映射到辅助成像面上
• 3.3.6 第二步：从参考视点映射到目的视点
• 3.3.7 调整绘制顺序
• 3.3.8 多幅图像
• 3.3.9 实验结果
• 3.3.10 算法小结
• 3.4 本章小结
• 4 逆向Image Warping的相关算法研究
• 4.1 引言
• 4.2 基于多参考域的逆向Image Warping算法
• 4.2.1 算法原理
• 4.2.2 预处理
• 4.2.3 映射求交
• 4.2.4 空洞填补
• 4.2.5 可见性讨论
• 4.2.6 视点共线讨论
• 4.2.7 误差讨论
• 4.2.8 实验结果
• 4.2.9 算法小结
• 4.3 基于极线特性的逆向Image Warping算法
• 4.3.1 算法原理
• 4.3.2 信息量有效性
• 4.3.3 目的域绘制顺序
• 4.3.4 虽近相邻像素
• 4.3.5 参考域搜索
• 4.3.6 复杂度分析
• 4.3.7 实验结果
• 4.3.8 算法小结
• 4.4 基于空间连贯性的逆向Image Warping算法
• 4.4.1 算法原理
• 4.4.2 模板半径
• 4.4.3 模板裁剪
• 4.4.4 极线优化
• 4.4.5 复杂度分析
• 4.4.6 实验结果
• 4.4.7 算法小结
• 4.5 本章小结
• 5 分层Image Warping的模型与方法研究
• 5.1 引言
• 5.2 图像重构的不同策略
• 5.3 分层Image Warping模型
• 5.3.1 等密度映射
• 5.3.2 纹理重构
• 5.3.3 模型描述
• 5.3.4 性质特点
• 5.4 多分辨率分层图像结构
• 5.5 基于分层模型的正向Image Warping
• 5.5.1 分层图像的构造
• 5.5.2 分层图像的绘制
• 5.5.3 实验结果
• 5.6 基于分层模型的逆向Image Warping
• 5.6.1 算法原理
• 5.6.2 跳跃的条件
• 5.6.3 遍历结束的条件
• 5.6.4 算法流程
• 5.6.5 实验结果
• 5.7 本章小结
• 6 结束语
• 6.1 本文工作总结
• 6.2 将来的工作
• 致谢
• 参考文献
• 附录A：博士在读期间发表和录用的论文