虚拟空间会议立体图像匹配技术及应用研究

论文摘要

虚拟空间会议(Virtual Space Teleconferencing,VST)系统是虚拟现实技术与计算机网络和多媒体相结合的产物,它突破了传统的地域观念,利用虚拟现实技术,将不同地点与会终端的局部会场合成一个共同的虚拟空间,与会者以化身(avatar)的形式在这个虚拟空间中,通过化身在虚拟空间中定位、观察、操纵虚拟空间的实体、与其他用户进行交互等方式“共享同一空间”,具有身临其境之感。因而又被称为“终极会议系统(Ultimate Teleconferencing System)”。为了达到具有眼神接触、凝视感知的真实会议系统,构建具有实时性和逼真感的与会者的化身是VST的研究热点。本文着重研究了VST中与会者的化身建模、三维重建、立体图像匹配等演示技术,运用了超小波、随机数学和偏微分方程等理论,提出了多种立体图像匹配方法并构建一个虚拟空间会议的原型系统。主要研究内容如下:首先针对立体图像的区域匹配中,遮掩、区域变形及光照条件会对匹配算法造成很大的影响,传统的顺序性约束、惟一性约束、外极线约束和邻域约束并不能很好地解决这些问题,而近几年提出的相对位置约束却能解决其中大部分问题,但对于区域的遮掩情况依然效果不佳。并且当对多个候选区域进行最佳匹配选择时,通常依靠区域的单一参量进行判别,但受到视点的变换时效果并不理想。本文提出一种结合已匹配区域参量构造视差梯度函数的立体图像区域匹配方法,该方法摒弃了现有算法中单一参量不稳定的特性;此外提出了基于Zernike矩、中心环投影曲线相关、小波变换及分形维的立体图像区域匹配方法。实验结果证明,针对于区域的半遮掩、变形和细微差别等情况,本文的算法都具备更好的识别性能,是一种行之有效的区域匹配算法。其次基于曲波变换是继小波变换后的一种新型的多尺度分析方法,它能够更好的描述图像中曲线状和超平面的奇异性问题,本文把曲波变换系数作为图像匹配中的基元,并结合图像分割原理和马尔可夫随机场(MRF)模型,提出了一种新的基于Markov模型和曲波的立体图像匹配方法,该方法克服了基于图像灰度的匹配方法在平滑区域或细节匮乏处无法得到正确视差的弊端,并使得视差图在物体内部平滑并保持边缘处的不连续性。实验结果表明,本文提出的算法无论从视觉评价上还是视差图客观指标来看,都取得更优的结果。再次本文运用偏微分方程理论提出一种改进的立体图像匹配的正则化方法。先分析了匹配点对在不同相对位置下对匹配项产生的影响;接着提出了适用于视差图的各向异性的热扩散方程,它不仅继承了Alvarez定义的正则项对初始视差图内部平滑和保持边缘不连续的特性,还引入了图像的噪声屏蔽函数和二阶方向导数来分别控制对应视差图中不同区域的扩散速度和角点处的扩散方向;通过本文定义的正则项和匹配项构造新的能量函数,并把基于区域匹配算法得到的视差图作为初始值,数值求解相应的最小能量泛函。实验结果表明无论从视觉效果上还是重构深度图的判别上,本文的算法均为优秀。由于视差图反映了图像中各个景物的深度信息量,因此视差图的边缘并非是对应图像的边缘。而现有的正则化方法中能量函数的正则项都依照图像梯度场对初始视差图内部进行平滑并保持边缘的不连续性,这导致最终获取的密集视差图不仅不能准确分辨物体边缘且平滑区域具有较多的图像边界残留痕迹。光流反映了目标物体的运动状态且包含的运动边界与物体边界相吻合,但光流计算中的正则项使其在边界上是模糊不准确的,因此本文采用了多分辨率框架下由粗到精的分级策略来计算大基线时左右图像中的光流场,并结合图像边界和光流来确定准确的运动边界,提出了一种融合光流信息的正则化方法,该方法利用携带景物深度信息的光流场构造了融合光流信息的各向同性和异性的视差图正则项。通过与现有方法进行实验比较,提高了最终获得的视差图的质量。最后在前面理论和实验的基础上建立了一个虚拟空间会议的原型系统,实现了虚拟会场的构造、显示与漫游、与会者的视频对象提取与合成、基于视线的中间视生成等主要功能。

论文目录

• 摘要
• Abstract
• 目录
• 1 绪论
• 1.1 课题的背景和意义
• 1.1.1 虚拟空间会议系统
• 1.1.2 虚拟空间会议系统的视觉显示
• 1.2 虚拟空间会议系统及其演示技术的研究现状
• 1.2.1 虚拟空间会议系统的研究现状
• 1.2.2 VST系统的演示技术研究现状
• 1.3 论文的主要研究成果及其创新点
• 1.4 论文的章节及安排
• 2 立体图像的区域匹配方法
• 2.1 引言
• 2.2 现有的区域匹配方法
• 2.2.1 相对位置约束
• 2.2.2 费用函数评判
• 2.3 基于中心视差梯度的区域匹配方法
• 2.3.1 视差梯度
• 2.3.2 实验分析
• 2.4 基于Zernike矩的区域匹配方法
• 2.4.1 Zernike矩的区域匹配
• 2.4.2 实验分析
• 2.5 基于中心环投影的区域匹配方法
• 2.5.1 中心环投影
• 2.5.2 实验分析
• 2.6 基于小波变换及分形特征的区域匹配方法
• 2.6.1 分形布朗模型及小波变换
• 2.6.2 分形布朗模型及小波变换
• 2.6.3 实验分析
• 2.7 本章小结
• 3 基于曲波和Markov随机场的图像匹配方法
• 3.1 引言
• 3.2 现有的立体匹配方法
• 3.2.1 固定块匹配视差估计
• 3.2.2 交叠块匹配视差估计
• 3.2.3 分层交叠块匹配视差估计
• 3.2.4 立体匹配中的约束条件
• 3.3 基于曲波系数的立体图像匹配方法
• 3.3.1 连续脊波变换
• 3.3.2 离散脊波变换
• 3.3.3 单尺度脊波
• 3.3.4 曲波变换
• 3.3.5 基于曲波系数的立体图像匹配
• 3.4 基于Markov模型和曲波的立体图像匹配方法
• 3.4.1 Markov模型和隐Markov模型
• 3.4.2 Markov随机场和Gibbs分布
• 3.4.3 基于Markov模型的图像分割算法
• 3.4.4 基于MRF模型和曲波系数的稠密视差图求取
• 3.4.5 实验结果和分析
• 3.5 本章小结
• 4 立体图像匹配的正则化方法
• 4.1 摄像机成像模型
• 4.2 极线几何和极线约束
• 4.3 正则化方法中的匹配项
• 4.4 正则化方法中正则项
• 4.4.1 现有的正则项
• 4.4.2 改进的正则项
• 4.5 数值解法
• 4.5.1 Nagel and Enkelmann模型数值解法
• 4.5.2 本文方法的数值解法
• 4.6 实验分析
• 4.7 本章小节
• 5 融合光流信息的正则化方法
• 5.1 引言
• 5.2 光流估计方法
• 5.2.1 光流方程
• 5.2.2 光流估计实验方法
• 5.3 融合光流信息的正则化方法
• 5.3.1 光流与视差图的联系
• 5.3.2 光流中运动边界的求取
• 5.3.3 运动边界求取的数值解法
• 5.3.4 基于运动边界和能量最优的图像匹配算法
• 5.3.5 算法流程
• 5.4 实验分析
• 5.5 本章小结
• 6 虚拟空间会议原型系统的构建与实现
• 6.1 引言
• 6.2 虚拟会场构造与显示
• 6.3 与会者的视频对象提取
• 6.3.1 视频分割的关键技术
• 6.3.2 基于变化区域检测及肤色特征的视频对象提取
• 6.4 基于视线的中间视
• 6.4.1 视差图误差检测与校正技术
• 6.4.2 基于视线的中间视
• 6.5 会议场景漫游实现
• 6.6 与会者视频合成
• 6.7 与会者三维模型重建
• 6.8 本章小结
• 7 总结与展望
• 致谢
• 参考文献
• 附录A:博士在读期间发表的论文