平面3D游戏、2D视频转立体3D技术研究

论文摘要

"3D （three dimension）"这个词随着时代发展也在被赋予新的意义,现在谈的最多的“3D”则是基于双目立体视觉原理的立体3D。随着这种3D技术的逐渐流行,人们对“看”的要求已不再仅仅停留在2D （two dimension）图像上,而是向能够看出深度感的3D图像发展。然而一个很现实的问题是“3D”资源目前依然非常的稀少远远满足不了人们的需求,所以将原本2D的资源转换成3D这种2D转3D技术将是应对现今这一2D到3D过渡时期的一个很好的解决方案。现在已有的2D转3D技术大都运用在3D电视机中,而且仅在ASIC芯片中得以实现,算法上也不是很成熟,其转换效果依然无法与用3D设备拍摄的图像相比,被业界称之为“伪3D”。而在计算机上运行的有此功能的成熟软件就只有POWERDVD和Tridef 3D Experience这两款视频播放器,由于只是使用了简单的转换算法,它们的转换效果差强人意几乎看不出3D效果。之所以软件实现如此之少和较差的实现效果究其原因还是出在本身转换算法过于复杂不完善和现今CPU的机能依然无法满足对视频流的实时处理。本文将致力于通过C++编程方式实现对平面3D游戏的立体333D转换。为了实现更高效的处理将使用并行运算性能强大却一直被人们忽视的GPU （Graphic Processing Unit）和由NVIDIA公司提供的相应的开发平台CUDA。本文首先对双目立体视觉原理做一个详细的介绍。接下来先实现平面3D游戏到立体3D的转换。3D游戏由于其本身具有的3D特性,对于3D游戏的转换并不需要运用图像处理算法,只需将场景运算中的深度信息提取出再利用Depth Image-Based Rendering （DIBR）基于深度信息重新着色技术完成红青3D转换。其中需要利用DLL注入和API拦截技术以更改程序的运行方式来实现转换。转换对象选择使用微软提供的API函数库DirectX 9做出的3D游戏或3D应用程序。然后对GPU通用运算以及对应的开发平台CUDA作一个简单介绍。最后介绍2D视频转3D中需要用到的关键技术——边界检测、对象提取,其中的算法全部交由GPU完成。测试对象全部来源于网上的影视资源。边界检测部分使用的是改进的Canny算子完成,并配合边界连接算法最终生成一张边界线连续闭合的边界图。完整准确的边界图会对后期的对象提取和深度估计起到关键的作用。面对象提取则是提出了一种基于并行运算的新型的四步法完成,最后生成深度图后再用DIBR实现红青3D转换。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 研究背景和研究意义
• 1.2 国内外产业及研究现状
• 1.3 本文工作及篇章安排
• 第二章 3D技术简介
• 2.1 人眼双目立体视觉原理
• 2.1.1 视差
• 2.1.2 辐辏
• 2.2 3D显示技术
• 2.2.1 色差式
• 2.2.2 偏光式
• 2.2.3 主动快门式
• 2.3 3D效果详细介绍
• 2.3.1 出屏
• 2.3.2 入屏
• 2.3.3 总结
• 第三章 平面3D游戏到立体3D的实现机制
• 3.1 DLL注入和API拦截
• 3.1.1 Windows应用程序运行基本原理
• 3.1.2 如何用代码创建一个新进程
• 3.1.3 DLL注入
• 3.1.4 API拦截
• 3.2 DirectX实现3D程序必要过程和各类缓存介绍
• 3.2.1 3D应用程序初始化
• 3.2.2 3D应用程序最后呈现画面过程
• 3.2.3 3D程序中缓存的类型和用途介绍
• 3.3 立体3D转换
• 3.3.1 确定需要拦截的函数以及对应的地址
• 3.3.2 实现相应函数的拦截
• 3.3.3 基于DIBR实现的3D转换以及空白区的合理填补
• 3.3.4 转换效果总结
• 第四章 2D视频源图像数据接口模块的建立
• 4.1 视频播放器中渲染器的简介
• 4.2 GPU通用计算和CUDA简介
• 4.2.1 GPU和CPU的不同
• 4.2.2 GPU通用计算
• 4.2.3 GPU开发平台CUDA
• 4.2.4 CUDA基本使用方法
• 4.2.5 CUDA在本项目中的应用
• 第五章 2D视频转立体3D算法关键步骤
• 5.1 边界检测
• 5.1.1 Canny边界检测介绍
• 5.1.2 CUDA实现边界追踪
• 5.2 边界连接
• 5.3 对象提取
• 5.4 生成深度图
• 5.4.1 对提取出的前景对象做进一步区分
• 5.4.2 对象提取实验结果总结
• 5.4.3 将提取出的对象赋予深度值
• 5.5 总结
• 第六章 总结和展望
• 6.1 工作总结
• 6.2 展望
• 参考文献
• 致谢
• 附录