图像的语义标注及其改善问题研究

论文摘要

随着数码照相机、具有照相功能的手机等设备的迅速普及,数字图像呈现出爆炸式地增长趋势,而且随着互联网的飞速发展,越来越多的人能够更加方便、快捷、经济地使用这些图像数据。目前面临的问题不再是缺少图像数据资源,而是如何在浩如烟海的图像数据中找到自己所需要的信息。如何对规模庞大的数字图像进行快速高效的检索,成为亟待解决的问题。现有的图像检索系统主要利用图像的语义标注词进行基于语义的图像检索,但是随着图像数量的激增,人工进行图像标注显然不现实。因此,对图像进行自动语义标注成为图像检索领域的重要问题,得到了学术界和企业界越来越多的关注。鉴于已有图像标注方法的标注准确性还未达到令人满意的程度,因此如何对已标注图像进行标注结果的优化与改善成为了图像的语义标注这一研究领域的重要问题之一。本文针对不同类型的图像,提出了一系列有针对性的语义标注以及语义标注改善的方法,主要研究成果和创新点表现在以下五个方面：(1)提出了一种基于LDA主题模型的图像标注方法。首先,利用图像训练集建立一个视觉词袋模型,并利用LDA模型计算待标注图像和标注词词典中各标注词之间的相关度,从而获得图像的初始标注。接下来,提出一种基于搜索的标注词扩展方法,将初始标注提交到图像搜索引擎,从搜索引擎返回的结果中选取与待标注图像相似的图像,进而从这些相似图像的周边文本中获取图像的扩展标注词。最后,将初始标注词集合和扩展标注词集合进行合并,获得最终标注。(2)提出了一种面向社会网络图像共享社区的图像标注方法。该类网站允许用户在上传图像时为图像提供标签,我们利用用户提供的标签对图像进行语义标注。首先,将待标注图像分割后的图像区域作为样例数据点,对用户提供的标签进行过滤后得到图像的初始标签,并将其所对应的图像视觉特征作为待排序的数据点,利用流形排序算法对图像的初始标签进行排序。接下来,利用Flickr提供的API函数以及加权投票策略对排序位次高的初始标签进行扩展,从而得到扩展标签。最后,将排序位次高的初始标签集合和扩展标签集合合并,得到图像的最终标注。(3)提出了一种面向图像共享社区中个人相册的图像标注方法。首先,利用位置敏感哈希函数将图像的SIFT描述符映射到哈希桶中,并将每个哈希桶看作直方图的一个柱,把待标注图像转化为直方图,通过计算直方图的距离得到两幅图像之间的视觉相似度,从而对个人相册进行去除重复图像的处理。然后,利用图像的视觉特征和图像GPS坐标构造三分图,通过对三分图的划分进行个人相册中图像的聚类。将Core15K数据集作为训练集,建立视觉词袋模型,为该数据集标注词词典中的每个标注词求出与之对应的视觉词语向量。对个人相册聚类后得到的图像簇,通过视觉词袋模型求出图像簇所对应的视觉词语向量,从训练集的标注词词典中选择与其相关度高的词作为图像簇的标注。(4)提出了一种基于二分图增强学习算法以及概念本体推理的层次化Web图像标注方法。首先,从Web页面中抽取图像的初始标注,通过概念本体对初始标注进行推理,将初始标注和经过概念本体推理得到的层次化扩展标注作为图的顶点,构造二分图。然后,通过二分图增强学习算法对初始标注和扩展标注进行排序,并提出了一个标注词选择策略,从排序后的初始标注词集和扩展标注词集中选取图像的最终标注词。(5)提出了一种基于图划分和图像搜索引擎的图像标注改善算法。该算法通过对待标注图像的候选标注词进行去噪处理,提高标注的准确性。算法的核心思想是将候选标注词作为图的顶点,将标注词之间的相关度作为边的权值,从而将图像标注改善问题转换为图划分问题。我们用两个参数对标注词间的相关度进行加权处理后计算出边的权值。第一个参数是根据图像搜索引擎返回结果计算出的候选标注词与待标注图像视觉特征之间的相关度,第二个参数是候选标注词在待标注图像所属页面中的重要程度,此参数仅适用于Web图像。然后,用启发式最大割算法对构造出的图进行划分,最后从图划分后得到的两个标注词集中选择其一作为最终标注。本文对图像的语义标注及其改善问题的研究,有助于理解图像中包含的语义概念,提升图像检索系统的性能,对多媒体领域的研究也具有较大的意义。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究意义
• 1.3 图像语义标注的关键问题
• 1.4 本文的研究内容及创新点
• 1.5 本文的组织结构
• 第2章 图像语义标注研究现状
• 2.1 研究现状概述
• 2.2 基于生成模型的图像标注
• 2.3 基于判别模型的图像标注
• 2.4 基于图模型的图像标注
• 2.5 基于互联网数据集的图像标注
• 2.6 图像的语义标注改善
• 2.7 本章小结
• 第3章 基于主题模型的图像标注方法
• 3.1 引言
• 3.2 方法概述
• 3.3 基于主题模型的初始标注词获取方法
• 3.3.1 LDA模型简介
• 3.3.2 视觉词袋模型简介
• 3.3.3 初始标注获取
• 3.4 基于搜索的初始标注词扩展方法
• 3.4.1 从搜索结果中选择相似图像
• 3.4.1.1 将图像的高维视觉特征向量映射到哈希编码
• 3.4.1.2 基于海明距离的图像相似度计算
• 3.4.2 从相似图像的相关文本信息中抽取扩展标注词
• 3.5 实验结果与分析
• 3.6 本章小结
• 第4章 面向图像共享社区的图像标注方法
• 4.1 引言
• 4.2 基于标签排序和扩展的Flickr图像标注方法框架
• 4.3 Flickr图像的标签排序算法
• 4.3.1 Flickr图像的标签相似度计算方法
• 4.3.1.1 基于共现度的标签相似度计算
• 4.3.1.2 基于相关图像视觉特征的标签相似度计算
• 4.3.2 标签与图像区域间的相关度计算方法
• 4.3.3 基于流形排序的标签排序算法
• 4.4 对排序位次较高的初始标签进行扩展
• 4.4.1 利用Flickr API获取相关标签
• 4.4.2 使用加权投票策略进行标签扩展
• 4.5 实验结果与分析
• 4.6 本章小结
• 第5章 面向个人相册的图像标注方法
• 5.1 引言
• 5.2 个人相册中的重复图像检测方法
• 5.2.1 重复图像检测算法概述
• 5.2.2 位置敏感哈希方法简介
• 5.2.3 基于位置敏感哈希方法的重复图像检测
• 5.2.4 直方图距离的计算方法
• 5.3 个人相册标注方法框架
• 5.4 基于三分图的图像聚类算法
• 5.4.1 基于局部特征的图像相似度计算
• 5.4.2 GPS坐标之间的距离
• 5.4.3 三分图的划分
• 5.5 图像簇的标注方法
• 5.6 实验结果与分析
• 5.6.1 重复图像检测算法性能评测
• 5.6.1.1 实验数据集及性能评价标准
• 5.6.1.2 实验结果及分析
• 5.6.2 个人相册标注结果的性能评测
• 5.7 本章小结
• 第6章 基于二分图和概念本体推理的Web图像标注方法
• 6.1 引言
• 6.2 方法概述
• 6.3 概念本体的创建以及扩展标注词的获取
• 6.3.1 概念本体的构建
• 6.3.2 基于多级概念本体推理的扩展标注抽取方法
• 6.4 二分图构造以及候选标注词排序
• 6.4.1 二分图的构造
• 6.4.2 基于二分图加强学习算法的候选标注词排序
• 6.4.3 最终标注词选择策略
• 6.5 实验结果与分析
• 6.5.1 实验数据集
• 6.5.2 评价标准
• 6.5.3 实验结果
• 6.6 本章小结
• 第7章 基于图划分和图像搜索引擎的图像标注改善方法
• 7.1 引言
• 7.2 方法概述
• 7.2.1 图像标注改善算法框架
• 7.2.2 语义距离的计算
• 7.2.3 带权最大割问题
• 7.3 图的构造方法
• 7.3.1 利用图像搜索引擎计算候选标注词和待标注图像的相关度
• 7.3.2 Web图像的权值计算
• 7.3.3 边权值的计算
• 7.4 基于图划分的图像标注改善算法
• 7.4.1 图像标注改善问题与MAX-CUT问题的关系
• 7.4.2 算法描述
• 7.5 实验结果与分析
• 7.5.1 非Web图像的标注改善性能评测
• 7.5.1.1 标注改善结果的平均准确率评测
• w¹对标注改善结果的影响'>7.5.1.2 参数δ_w¹对标注改善结果的影响
• 7.5.1.3 NGID距离对标注改善结果的影响
• 7.5.2 Web图像的标注改善性能评测
• 7.5.2.1 标注改善结果的F1值评测
• w²对标注改善结果的影响'>7.5.2.2 参数δ_w²对标注改善结果的影响
• 7.5.3 本算法不足之处及分析
• 7.6 本章小结
• 第8章 总结与未来研究展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录
• 在读期间参与科研项目情况
• 学位论文评阅及答辩情况表
• 外文论文