基于MVC编码的多视点视频传输机制研究

论文摘要

三维立体视频给观众带来了全新的立体场景感受以及丰富的用户交互体验。随着三维立体视频技术的发展，越来越多的三维立体视频应用开始出现。凭借在视觉效果和用户交互性上的优势，三维立体视频有望取代传统的二维电视，成为下一代视频媒体服务的标准。多视点视频作为三维立体视频的一种重要表现形式，受到了学术界和工业界广泛的重视。多视点视频巨大的数据量给成功部署多视点视频服务系统提出了很大的挑战。如何在不损失视频质量和交互体验的前提下降低多视点视频的码率成为业界关心的问题。在这种情况下，MVC编码标准应运而生。作为多视点视频的主流编码方法，MVC引入了视点间的参考关系，能够有效提高多视点视频的压缩效率，并支持在视点域和时间域上的伸缩性。但是，MVC编码的多视点视频中存在视点之间的预测关系，在提高多视点视频的压缩效率的同时也增加了视点之间的依赖关系，破坏了视点之间的独立性，因此我们需要在传输和解码的过程中保持视点参考关系的完整性。在多视点视频服务系统中，我们需要满足多种应用场景对多视点视频特定视点的需求，因此涉及到相关视点的提取、保护和封装机制等等。本文重点研究了MVC编码的多视点视频传输时面临的一些问题。主要包括多视点视频中目标视点提取、视点参考关系感知的视点保护方案，以及支持多种应用场景的多视点视频基于传输流的封装机制。本文主要贡献如下：考虑到多视点视频巨大的数据量以及在实际的传输系统中不同的接收端对视点的需求各异，需要对特定视点进行提取。然而MVC多视点视频视点之间存在复杂的依赖关系，给视点的提取带来了一定的难度。针对这一问题，我们提出了一个基于优先级的视点提取策略，不仅能够有效提取相关的视点，而且能够区分相关视点对于接收端解码的重要程度。在不可靠信道上传输多视点视频信号的时候可能会因为噪声干扰或者拥塞造成丢包，为了保证数据传输的正确性和完整性，需要对视点数据进行保护。在MVC编码的多视点视频中，视点之间的重要程度是不一样的，一般来说，被依赖的视点往往比依赖的视点具有更高的优先级。因此在传输多视点视频时，我们需要对不同的视点给予不同的保护策略。在本文中，我们提出一种视点参考关系感知的前向纠错码保护机制用于视点的保护。这个保护机制的关键在于在生成低优先级的视点编码符号生成的时候同时将其依赖的视点数据考虑进来，形成一种层级的纠错保护结构，使之具有更好的容错性。实验结果表明，视点参考关系感知的前向纠错码结构相比传统的纠错码结构在传输存在视点依赖关系的MVC编码的多视点视频的时候在一定的接受概率下具有更高的解码概率，从而获得更好的视频质量。MPEG-2传输流是在广播网上传输多媒体数据的重要封装格式。在本文中，我们介绍了MVC编码的多视点视频数据在传输流上的封装的数据格式，并结合基于优先级的视点提取方案实现了一个基于MPEG-2传输流复用和解复用器。这个复用和解复用器能够用于传输多应用场景支持的多视点视频。

论文目录

• 摘要
• Abstract
• 主要符号对照表
• 第1章 引言
• 1.1 研究背景
• 1.2 本文的研究主题
• 1.3 论文的主要组织结构
• 第2章 研究现状和相关工作
• 2.1 多视点视频编解码
• 2.1.1 视频加深度表示方法
• 2.1.1.1 视频加深度的传输流
• 2.1.2 多视点视频表示方法
• 2.1.2.1 Simulcast编码
• 2.1.2.2 MVC编码
• 2.1.2.3 SMVC编码
• 2.1.2.4 非对称性编码
• 2.2 层感知的前向纠错码
• 第3章 基于优先级的视点提取策略
• 3.1 引言
• 3.2 MVC码流结构
• 3.2.0.5 序列参数集
• 3.2.0.6 视点参考关系语法结构
• 3.3 视点优先级
• 3.4 基于优先级的提取算法实现
• 3.4.1 视点反向参考树
• 3.4.2 视点提取算法
• 3.5 结果分析
• 3.6 小结
• 第4章 视点参考关系感知的分层前向纠错码机制
• 4.1 引言
• 4.2 视点参考关系感知的分层前向纠错码
• 4.3 视点参考关系感知的分层FEC解码能力分析
• 4.4 视点参考关系感知的分层前向纠错码具体实现
• 4.4.1 Raptor编码
• 4.4.1.1 LT编码
• 4.4.1.2 预编码
• 4.4.2 Raptor码解码过程
• 4.4.3 视点参考关系感知的Raptor编码结构
• 4.5 实验结果分析
• 4.6 小结
• 第5章 支持多应用场景的MVC视频传输流封装机制
• 5.1 引言
• 5.2 传输流结构
• 5.2.1 传输流包头结构
• 5.2.2 节目特定信息
• 5.3 PES流结构
• 5.4 多视点视频的传输流封装
• 5.5 传输流目标解码器MVC扩展
• 5.6 小结
• 第6章 总结和进一步工作
• 6.1 研究工作总结
• 6.2 进一步工作展望
• 参考文献
• 致谢
• 个人简历、在学期间发表的学术论文与研究成果