流形学习方法在Web图像检索中的应用研究

论文摘要

Web图像检索是当前活跃的研究方向，它有着广阔的应用前景，在计算机领域中得到了广泛的关注。但同时它又是一个极为困难的问题，困难主要来源于Web图像检索环境是一个规模惊人的分布式图像数据库，而且互联网用户一般不愿意花过长的时间等待检索结果。因此，Web图像检索技术的关键在于在具有相当准确度的前提下找到一种特别高效的检索算法。为了更加高效地进行Web图像检索，两种途径被广泛采纳：采用高效的图像降维算法和采用适当的相关反馈技术。基于拉普拉斯特征映射(LE)算法的保局投影(LPP)算法不仅可以保持流形学习的能力，而且具有线性方法计算简单、直观快捷的优点。我们的研究表明，LPP算法在用于Web图像检索时具有明显的优势。本论文的工作集中于LPP算法应用于Web图像检索时的相关研究：包括LPP图像降维算法的优化研究以及结合相关反馈技术的LPP算法研究。首先，本论文对基于LE算法的LPP算法在图像降维方面的应用作了深入的研究，论证了LPP算法用于Web图像检索系统的比较优势。LPP算法是基于LE算法的线性扩展，兼具有非线性的LE算法和线性降维方法二者的优点。与LE算法相比，LPP算法具有一个转换矩阵，而且计算复杂度比LE算法大大降低；与其它线性算法(如PCA算法)相比，LPP算法具有较强的流形学习能力，当数据集存在非线性结构时，利用该算法更能够保留图像空间的本质特征。其次，针对LPP算法中最近邻图并不能够总是准确地模拟数据流形，提出了一种优化的LPP算法：ILPP算法。在检测集的分布比较均匀的情况下，LPP算法定义的最近相邻图可以很好地模拟数据集的几何结构。然而，检测集是随机抽样产生的，分布情况未知(而且样本通常不足)，并不能确保准确地表示出图像的流形结构。ILPP算法通过迭代地更新最近邻图，从而使之能更好地模仿流形的局部结构。实验结果表明该算法能够有效地提高LPP算法的性能。另外，在Web图像检索系统中，经常会有一些新加入的图像(网页在不停变化)，大多数现有的半监督学习方法(包括基于SVM的半监督方法)在未标注数据量较大时处理效率较低。本论文提出了一种有效地结合SVM和LPP的半监督学习算法—“LPP半监督算法”。结合了SVM机制的LPP半监督算法可以很好地辨识数据空间的流形结构，同时可以更加有效地使用未标注的数据。实验结果显示，LPP半监督算法的检索准确度明显高于SVM半监督方法。最后，在对现有图像检索技术中的相关反馈方法进行研究的基础上，针对Web图像检索的特点，提出了一种结合相关反馈技术的新型LPP算法：FLPP算法。该算法兼具短期学习和长期学习的能力，通过该算法，我们在原有的LPP算法中引入用户反馈，通过对用户反馈的适当处理，可以优化LPP算法的降维映射，从而得到一个更能够反映语义属性的图像表示子空间。实验结果显示，比起现有相关反馈方法，FLPP算法可以明显提高检索准确度，而且经过长期学习后，可以获得一个近似最优的降维子空间。由于LPP算法的特殊优点，使它特别适合应用于Web图像检索系统。但由于LPP算法提出时间不长，实际应用于Web图像检索时尚有一些基础问题需要解决。为了解决这些问题，本论文提出了几种基于LPP的优化算法，大量的实验研究及结果表明，这些方法应用于Web图像检索系统时能显著地提高图像检索的准确性和效率。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题的背景
• 1.2 基于文本表示的图像检索概述
• 1.3 基于内容的图像检索概述
• 1.3.1 图像的全图表示
• 1.3.1.1 颜色特征
• 1.3.1.2 纹理特征
• 1.3.2 距离度量
• 1.3.3 相关反馈
• 1.4 WEB图像检索技术概述
• 1.4.1 图像的获取
• 1.4.2 图像特征的抽取及索引
• 1.4.3 图像的检索
• 1.5 图像的降维技术概述
• 1.5.1 降维的定义
• 1.5.2 降维的相关概念
• 1.5.2.1 维数祸根
• 1.5.2.2 高维空间的特殊性
• 1.5.2.3 本征维数
• 1.5.3 降维的分类
• 1.6 本论文各部分的主要内容
• 第二章 经典降维算法的比较研究
• 2.1 概述
• 2.2 线性降维算法
• 2.2.1 PCA算法
• 2.2.1.1 主成分分析的原理
• 2.2.1.2 主成分分析算法举例
• 2.2.2 线性判定分析算法
• 2.3 非线性降维算法
• 2.3.1 流形学习简介
• 2.3.2 局部线性嵌入（LLE）算法
• 2.3.2.1 LLE算法简介
• 2.3.2.2 LLE算法举例及分析
• 2.3.3 拉普拉斯特征映射（LE）算法
• 2.3.3.1 LE算法简介
• 2.3.3.2 LE算法与PCA算法的比较分析
• 2.3.3.3 LE算法用于图像降维的比较实验
• 2.4 本章小节
• 第三章 保局投影算法用于图像降维问题的研究
• 3.1 概述
• 3.2 保局投影（LPP）算法原理
• 3.2.1 理论背景
• 3.2.2 LPP算法简介
• 3.2.3 LPP算法的理论分析
• 3.2.3.1 最佳的线性嵌入
• 3.2.3.2 基于几何特性的分析
• 3.2.3.3 与PCA算法的对比分析
• 3.2.3.4 与LDA算法的对比分析
• 3.2.3.5 LPP模型的选择
• 3.3 保局投影（LPP）算法的实验分析
• 3.3.1 LPP算法的人为实验
• 3.3.2 LPP算法用于图像检索实验
• 3.3.3 LPP算法的2D可视化实验
• 3.4 保局投影（LPP）算法的比较分析
• 3.5 保局投影（LPP）算法的优化研究
• 3.5.1 ILPP算法设计
• 3.5.2 理论研究
• 3.5.3 实验分析
• 3.6 本章小节
• 第四章 结合支持向量机理论的LPP半监督算法研究
• 4.1 概述
• 4.2 支持向量机理论简介
• 4.2.1 理论背景
• 4.2.2 “VC维”和“推广性的界”
• 4.2.3 支持向量机的原理
• 4.3 基于SVM的半监督学习
• 4.3.1 半监督学习概述
• 4.3.2 基于SVM的半监督学习原理
• 4.4 结合SVM理论的LPP半监督算法
• 4.4.1 概述
• 4.4.2 LPP半监督算法
• 4.4.3 实验结果
• 4.5 本章小结
• 第五章 结合相关反馈技术的LPP算法研究
• 5.1 概述
• 5.2 相关反馈技术的研究现状
• 5.2.1 短期学习的相关反馈
• 5.2.1.1 基于参数调整的方法
• 5.2.1.2 基于概率分析的方法
• 5.2.1.3 基于分类器的方法
• 5.2.2 长期学习的相关反馈
• 5.3 结合相关反馈技术的LPP算法
• 5.3.1 理论背景
• 5.3.2 FLPP算法的描述
• 5.3.3 FLPP算法的理论分析
• kX^T的收敛'>5.3.3.1 矩阵XL_kX^T的收敛
• kX^T的特征向量'>5.3.3.2 矩阵XL_kX^T的特征向量
• 5.3.4 实验分析
• 5.3.4.1 实验设计
• 5.3.4.2 FLPP算法与标准LPP算法的比较实验
• 5.3.4.3 FLPP算法的2D可视化实验
• 5.4 本章小节
• 第六章 总结与展望
• 6.1 主要研究成果
• 6.2 展望
• 参考文献
• 致谢
• 攻博期间取得的研究成果