集成图像修补技术的图像压缩框架的原理与实现

论文摘要

图像压缩是数字多媒体计算和通信技术的基础,其中主要针对自然图像的有损压缩方法是多年来研究的重点。这些方法大体上可分为基于信号处理和基于视觉两类。前者主要采用信号分析手段,试图去除图像中的统计冗余;经过多年的发展,已逐渐趋于成熟。后者更多地考虑图像中的视觉冗余,但往往受制于计算机视觉分析手段的不足。我们将近年来提出的图像修补技术集成到一个新的图像压缩框架中,将上述两类方法的优点结合起来,从而显著提高了压缩性能。在我们提出的新框架中,编码端有意丢弃一些图像区域,同时从丢弃的区域中提取出关键视觉信息,以辅助信息的形式连同不完整图像一起编码传输;解码端得到不完整图像后,在辅助信息的帮助下,利用图像修补技术将丢弃区域填补完整,从而重建图像。该框架要求解决有辅助信息的图像修补、辅助信息的提取和编码、以及区域丢弃等若干新问题。本文就此展开详细讨论,研究了整个图像压缩框架的实现方案。●首先从现有的图像修补方法出发,研究辅助信息的具体形式。现有的图像修补方法可分为基于偏微分方程和基于纹理合成两类。从前者出发,论证了图像中的边缘信息在图像修补过程中的重要性;同时,边缘信息还具有容易提取、能够有效编码等优点。从后者出发,根据图像片之间的相似性,提出将片位移信息作为图像修补的辅助信息,并讨论了其非参数化的优点。●接下来,设计了两种新的有辅助信息的图像修补方法,分别利用边缘信息和片位移信息来改进图像修补的结果。边缘信息辅助的图像修补方法可以以求解Laplace方程或结构—纹理传播和纹理修补两种方式实现,而片位移信息辅助的图像修补方法则是非参数化纹理合成方法的推广。通过对比实验,证明了两种新的图像修补方法在图像重建时的性能优于传统无辅助信息的方法。●同时,研究了辅助信息提取和编码的方法。为得到边缘信息,提出了一种新的边缘细化算法,并在进行帧内预测时,根据率失真优化的要求设计了边缘估计算法。同样根据率失真优化的要求给出了片位移信息提取的算法。●为区域丢弃设计了有反馈和无反馈两种实现方式。有反馈系统在编码端内嵌解码器,通过实际重建的率失真代价决定是否丢弃图像区域,类似传统编码中的模式选择。无反馈系统则通过对原图像进行分析,得到在相应的图像修补方法下不同图像区域之间的相对复杂度,并选择复杂度较低的区域进行丢弃。分析了这两种方式各自的优点与不足,并给出了满足率失真优化要求的实际算法。根据以上讨论,实现了有反馈和无反馈的、分别集成了边缘信息和片位移信息辅助的分块编码的图像压缩系统,并与标准JPEG和H.264中的I帧编码进行了详尽的对比实验。有反馈系统能够提升重建图像的峰值信噪比,并特别在低码率下显著改善重建图像的视觉质量。无反馈系统在较高的重建质量下能够得到非常可观的码率节省。实验结果充分证明了我们提出的新的图像压缩框架的有效性和实用性。在我们提出的新框架内,现有系统还存在一些可改进的空间;而且在视频压缩中,新框架也完全适用,并已经取得了一些初步成果。更重要的是,本文开创性的工作揭示出未来图像压缩技术的巨大潜力,采用最新的图像合成技术得到的智能解码端有望成为下一代图像压缩研究的核心内容。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 基于信号处理的图像压缩
• 1.2 基于视觉的图像压缩
• 1.3 图像压缩系统性能评估
• 1.4 图像修补技术及其应用
• 1.4.1 基于偏微分方程的图像修补
• 1.4.2 基于纹理合成的图像修补
• 1.4.3 结合偏微分方程和纹理合成的图像修补
• 1.4.4 其它图像修补方法
• 1.4.5 图像修补的应用
• 1.5 本文的主要内容和组织
• 第2章 集成图像修补的图像压缩框架
• 2.1 图像压缩框架的流程分析
• 2.2 图像压缩框架的率失真分析
• 2.3 图像压缩框架实现中的几个问题
• 2.3.1 增强层
• 2.3.2 辅助信息与图像修补
• 2.3.3 区域丢弃
• 2.4 边缘信息作为辅助信息
• 2.5 片位移信息作为辅助信息
• 第3章 边缘信息辅助的图像修补和图像压缩
• 3.1 边缘信息辅助的图像修补方法（Ⅰ）
• 3.1.1 Laplace方程
• 3.1.2 用Laplace方程进行图像修补
• 3.1.3 求解Laplace方程
• 3.2 边缘信息辅助的帧内预测
• 3.2.1 H.264中的帧内预测
• 3.2.2 边缘信息辅助的图像修补用于帧内预测
• 3.3 边缘检测与细化
• 3.3.1 边缘检测
• 3.3.2 边缘细化
• 3.4 边缘估计:率失真优化的边缘信息提取和编码
• 3.5 边缘信息辅助的帧内预测与H.264帧内预测的比较
• 3.5.1 系统实现
• 3.5.2 系统验证
• 3.5.3 实验结果
• 3.6 边缘信息辅助的图像修补方法（Ⅱ）
• 3.6.1 结构—纹理传播:修补边缘附近区域
• 3.6.2 纹理修补:修补平坦区域
• 3.7 基于边缘信息的样本选择
• 3.7.1 非边缘块的样本选择
• 3.7.2 边缘块的样本选择
• 3.8 与标准JPEG和H.264I的比较
• 3.8.1 系统实现
• 3.8.2 与标准JPEG比较的实验结果
• 3.8.3 与标准H.264I比较的实验结果
• 3.8.4 讨论
• 第4章 片位移信息辅助的图像修补和图像压缩
• 4.1 相关工作
• 4.2 片位移信息辅助的图像修补方法
• 4.2.1 构造优化问题
• 4.2.2 求解优化问题
• 4.2.3 与已有方法的比较
• 4.3 片位移信息的提取和编码
• 4.3.1 片位移信息的提取
• 4.3.2 片位移信息的编码
• 4.4 片位移信息辅助的帧内预测与H.264帧内预测的比较
• 4.4.1 系统实现与验证
• 4.4.2 实验结果
• 4.5 基于片位移信息的样本选择
• 4.6 与标准H.264I的比较
• 4.6.1 系统实现
• 4.6.2 实验结果
• 4.6.3 讨论
• 第5章 结论
• 5.1 本文总结
• 5.2 未来工作展望
• 5.2.1 现有框架内的改进
• 5.2.2 在视频压缩中的应用
• 5.2.3 智能解码端与下一代图像压缩
• 参考文献
• 致谢
• 在读期间发表的学术论文与取得的研究成果