基于视觉感知和相关反馈机制的图像检索算法研究

论文摘要

随着数字图像数量的飞速增长,如何高效、快速地从海量图像数据中检索出所需要的信息已成为当前图像应用领域的一个重要问题。图像内容可以分为两类,即视觉内容与语义内容。视觉内容也就是通常所讲的图像的物理表示,如：纹理、颜色、形状、方向等；语义内容是指图像的信息,如：主题、场景、人物等。为了检索图像,首先要对图像内容进行理解,并将其内容形式化表示。由于图像内容的复杂性和人类认知的主观性,对图像进行正确的理解和表示是一项很困难的工作。本文主要围绕基于内容图像检索（Content-based image retrieval, CBIR）中的图像特征提取及克服“语义鸿沟”等相关方面的技术展开研究,系统讨论了图像信息表示、特征提取和相关反馈技术。研究的内容属于目前图像处理和信息检索领域的研究重点,具体研究包括：为充分利用视觉注意模型的显著性信息和Contourlet变换良好的稀疏性及能准确地捕获图像中边缘信息的特性,提出一种基于视觉注意及Contourlet变换的图像检索算法。首先对颜色、亮度和方向特征采用Itti视觉注意模型获取特征图,采用图像的Contourlet多尺度分析方法获取图像的子带,然后,在获取特征图和Contourlet方向子带的基础上,运用局部二值模式傅里叶直方图（Local Binary Pattern Histogram Fourier, LBP -HF）,有效地提取每个特征图中的综合显著信息,采用每个方向子带的一阶和二阶矩抽取纹理信息,通过将显著信息和纹理信息有机结合,实现多特征融合的图像检索。由于视觉注意模型能够在注意机制的驱动下,依据用户的感知将图像中的关键信息突出出来,同时抑制那些非主要信息,因此,在研究Itti视觉注意模型的基础上,通过构造不同的初级视觉特征,提出了两种基于视觉注意的特征抽取算法。算法-在充分考虑纹理特征与视觉感知关系的基础上,构造一个粗糙度图,用作视觉注意模型的一个初级视觉特征。通过该改进视觉注意模型得到50个视觉特征图,然后分别对每个视觉特征图采用局部二值模式傅里叶直方图（LBP-HF）方法抽取其分布信息,从而获得每幅图像的高维特征,最后利用局部保持投影（Locality Preserving Projects,LPP）方法进行维数约简,获取低维特征,用于图像检索。算法二,由于采用高对比度获得显著性图是一种合理的仿生途径,为选择带有最多细节、拥有最大对比度且灰度值分布最广的频谱分量,用主分量图作为亮度初级视觉特征,并引入具有丰富边缘、纹理和形状信息的梯度图作为视觉注意模型的一个初级视觉特征,改进Itti视觉注意模型。基于该改进视觉注意模型得到50个视觉特征图,对这50个视觉特征图运用方法一相同的过程,获取低维特征,进行图像检索。将先验标签信息引入到学习过程中,可以从两个方面来考虑,一是运用适当的距离测度学习,二是采用有监督特征映射子空间学习。基于不同的距离测度学习方式,本文提出了两种相关反馈算法。基本思路是使用有鉴别信息的距离测度来代替欧氏距离测度,将先验鉴别信息引入到k-近邻块中,增大不同类间的间隔,提高流形学习的泛化能力；同时利用无标签图像点的分布信息半监督学习各图像点间的相关性,用图策略来建立图像库中各图像点间的相关性模型,当有标签图像点不足时,依靠无标签图像点的分布信息能够尽可能准确地挖掘出图像间所潜在的语义信息来辅助检索的实现。运用有监督特征映射子空间学习,发现高维数据中有意义的低维嵌入空间也是引入已知标签信息,构建相关反馈机制的一种有效途径。基于此,本文提出了两种相关反馈算法：算法一,利用每次反馈用户标注的先验图像点标签信息构建类内最近邻图和类间最近邻图,刻画图像数据库的几何和鉴别结构,在整体图的约束下,寻找一个最优投影,在这个低维投影空间中,采用线性近邻标签传递算法进行标签标注传递；算法二,充分利用每次反馈用户标注的图像点的标签信息和无标签图像点的空间几何分布信息,半监督学习各图像点间的相关性,克服已知标签较少时对线性鉴别分析（Linear Discriminant Analysis, LDA）有效性的影响,将线性签别分析（LDA）与线性近邻传递算法相融合,获取鉴别嵌入子空间,并采用线性近邻标签传递算法完成标签信息标注,进而实现相关反馈的图像检索。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景和意义
• 1.2 国内外研究现状
• 1.3 论文的主要研究工作
• 1.4 本论文的组织结构
• 1.5 本章小结
• 2 基于内容图像检索的基础知识
• 2.1 CBIR的系统结构及特点
• 2.2 图像内容的视觉特征描述
• 2.2.1 颜色特征
• 2.2.1.1 图像的颜色空间
• 2.2.1.2 颜色特征提取
• 2.2.2 纹理特征
• 2.2.3 形状特征
• 2.3 图像的相似性度量计算
• 1距离和L₂距离'>2.3.1 L₁距离和L₂距离
• 2.3.2 直方图相交
• 2.3.3 二次式距离
• 2.4 图像检索的相关反馈机制
• 2.4.1 查询点移动的相关反馈
• 2.4.2 权值调整的相关反馈
• 2.4.3 基于统计学习理论的相关反馈
• 2.4.4 基于机器学习理论的相关反馈
• 2.5 图像检索算法的评价准则
• 2.6 本章小结
• 3 融合视觉注意与Contourlet变换的多分辨率分析图像检索算法
• 3.1 引言
• 3.1.1 Itti视觉注意模型
• 3.1.2 Contourlet变换
• 3.1.3 LBP-HF直方图
• 3.2 融合视觉注意与Contourlet变换的多分辨率分析图像检索算法
• 3.2.1 视觉注意特征的抽取
• 3.2.2 Contourlet方向子带的特征提取
• 3.2.3 相似性度量
• 3.3 实验结果分析
• 3.3.1 实验设置
• 3.3.2 实验结果分析
• 3.4 本章小结
• 4 基于视觉注意机制的图像检索算法
• 4.1 基于引入粗糙度特征Itti视觉注意模型的图像检索算法
• 4.1.1 基于引入粗糙度特征Itti注意模型的特征抽取算法
• 4.1.2 基于引入粗糙度特征Itti视觉注意模型的图像检索
• 4.2 基于形状边缘信息融入Itti视觉注意模型的图像检索算法
• 4.2.1 形状边缘信息融入Itti视觉注意模型的特征抽取算法
• 4.2.2 基于形状边缘信息融入Itti视觉注意模型的图像检索
• 4.3 实验结果分析
• 4.3.1 实验设置
• 4.3.2 实验结果分析
• 4.4 本章小结
• 5 基于距离测度学习线性近邻传递的相关反馈算法
• 5.1 引言
• 5.1.1 基于流形排序的图像检索算法
• 5.1.2 线性近邻标签传递算法
• 5.2 基于一种改进半监督线性近邻传递的相关反馈算法
• 5.2.1 SLNP算法
• 5.2.2 基于SLNP的相关反馈SLNP-RF
• 5.3 基于局部自适应逼近的半监督反馈算法
• 5.3.1 局部自适应距离测度
• 5.3.2 局部自适应逼近线性近邻传递的相关反馈算法（LALNP-RF）
• 5.4 实验结果分析
• 5.4.1 实验设置
• 5.4.2 实验结果分析
• 5.5 本章小结
• 6 基于子空间学习的相关反馈机制
• 6.1 增强LE与LNP融合的相关反馈算法
• 6.1.1 LE算法
• 6.1.2 增强的LE算法
• 6.1.3 增强LE与LNP融合的相关反馈算法（ILELNP-RF）
• 6.2 半监督局部鉴别嵌入与LNP融合的相关反馈算法
• 6.2.1 线性鉴别分析（LDA）
• 6.2.2 半监督局部鉴别嵌入算法
• 6.2.3 半监督局部鉴别嵌入与LNP相融合的相关反馈算法（SLDELNP-RF）
• 6.3 实验结果分析
• 6.3.1 实验设置
• 6.3.2 实验结果分析
• 6.4 本章小结
• 7 结束语
• 致谢
• 参考文献
• 附录