基于互联网数据集的图像标注技术研究

论文摘要

随着数码设备的日益普及以及互联网技术的迅速发展,Web图像资源越来越丰富。但由于Web数据具有多样性、复杂性和无规则性等特点,如何快速、准确地从海量Web资源中查找用户感兴趣的图像成为一项非常具有挑战性的任务。解决这一问题的重要途径就是通过对互联网图像进行自动图像标注,建立图像底层视觉内容与高层语义之间的联系,并利用标注词对图像进行索引。近年来,以Flickr为代表的图片共享社区的兴起与繁荣也让图像标注在Web 2.0环境下被赋予了新的生命。此外,自动图像标注在家庭影集的管理、医学图像检索、商标检索和人脸识别等方面都有着广泛的应用。由于图像数量的巨大,依靠手工对图像进行标注费用昂贵,已经不能满足实际的需要。从标注使用的训练集来看,自动图像标注技术经历了两个阶段:第一个阶段可以看成是在有限数据集上的图像标注,利用一些传统的机器学习、物体识别的方法建立图像底层特征和高层语义的联系,如基于分类器的方法、基于跨媒体相关的方法、基于翻译模型的方法以及基于隐变量的生成式模型方法等;第二个阶段是基于互联网数据集的图像标注方法,这种方法更多的是从标注的框架和效率入手,充分利用了互联网的丰富资源,大大拓展了训练集的范围,因而更符合互联网环境下图像标注的实际需要,也是近年来图像标注研究的热点。本文主要对基于互联网数据集的图像标注中的一些关键问题进行研究,主要成果和创新之处包括以下几个方面:讨论了构建互联网标注词词典的重要性,研究了如何从浩如烟海的互联网词汇中选择合适的标注词集合,并分析了词典中词语需要满足的条件。论文根据图片共享社区中词语的统计特性,提出了一种基于随机游走的标注词重要性建模方法,词语的重要性是根据用户的历史标注情况以及词语之间的相互关系衡量的,然后根据词语的重要性排序构建标注词词典。此外,还根据图片共享社区提供的标注词的丰富的语义资源,对带有初始关键词的互联网图像标注进行语义消歧,通过寻找待标注图像在图像共享社区中的合适的语义类,减少“语义鸿沟”的影响,使最后学习出的标注词语义更加一致。提出利用多模态相互加强原理进行图像标注。首先给定单幅图像,利用基本图像标注模型得到初始标注词,然后在基于随机游走的图像标注优化框架的基础上,通过标注词相关图和图像内容相关图之间相互加强原理,利用稳定状态下的新的相关性进行优化,可以更好地保证图像内容和最终标注词之间的关联,同时也保持了标注词的语义一致性。由于互联网图像所在网页的文本提供了丰富的语义信息,我们提出利用网页文档之间相似性与正文中命名实体的相互加强原理,更好地表示了网页文档之间的相似性。提出了一种基于互联网数据集的家庭影集联合标注框架。与单幅图像标注问题不同,我们考虑了利用影集内图像的相关性对多幅图像进行联合标注。首先对家庭影集中的图像进行聚类,然后从互联网数据中学习图像簇的初始标注词,再将初始标注结果输入半监督学习框架中进行后续处理,这里的半监督学习框架同时考虑了视觉内容相关性、标注词相关性以及时间相关性等。提出了一种基于跨媒体相关的个性化图像标注词推荐模型P-DCMRM。该模型综合考虑了视觉内容空间、标注词空间以及用户空间。P-DCMRM模型克服了已有的标注词推荐系统中忽略图像视觉内容的问题,同时也在DCMRM的基础上考虑了用户空间。在模型估计中,综合考虑了训练集的全局统计特性和用户局部空间的统计特性。对于用户上传的图像,系统可以自动地根据不同用户的标注历史和兴趣向用户推荐不同的标注词。

论文目录

• 摘要
• ABSTRACT
• 图目录
• 表目录
• 第1章 绪论
• 1.1 图像标注技术的研究背景与研究意义
• 1.1.1 图像检索的发展
• 1.1.2 图像检索与图像标注
• 1.1.3 图像标注技术的意义及其应用
• 1.2 论文的研究内容
• 1.3 论文的结构安排
• 第2章 图像标注技术的研究现状
• 2.1 概述
• 2.2 基于有限训练集的图像标注算法
• 2.2.1 基于机器翻译的图像标注算法
• 2.2.2 基于分类器的图像标注算法
• 2.2.3 基于跨媒体相关模型的图像标注算法（CMRM）
• 2.2.4 连续相关模型（CRM）
• 2.2.5 多伯努利相关模型（MBRM）
• 2.2.6 基于隐变量的生成式模型
• 2.2.7 其他方法
• 2.3 基于互联网数据集的图像标注算法
• 2.3.1 AnnoSearch
• 2.3.2 基于搜索的图像标注SBIA
• 2.3.3 BGRM
• 2.3.4 DCMRM
• 2.4 小结
• 第3章 基于图像共享社区标注词的语义挖掘
• 3.1 引言
• 3.2 标注词词典构建
• 3.2.1 构建标注词词典的意义
• 3.2.2 TagRank-基于Markov随机游走的标注词重要性度量
• 3.2.3 具体实现
• 3.2.4 TagRank值的收敛性
• 3.2.5 TagRank在图像标注中应用
• 3.3 图像标注中的语义消歧
• 3.3.1 问题提出的背景
• 3.3.2 基于Flickr语义类的语义消歧
• 3.3.3 实验
• 3.4 小结
• 第4章 图像标注中的多模态加强技术
• 4.1 图像标注优化技术
• 4.2 基于文本语义一致性的标注优化算法
• 4.2.1 基于WordNet的图像标注优化算法
• 4.2.2 基于随机游走的图像标注优化技术
• 4.3 基于图像内容和标注词相互加强的标注优化技术
• 4.3.1 图像内容和标注词互相加强模型
• 4.4 命名实体对互联网文本相似性的加强
• 4.5 实验
• 4.5.1 图像内容和文本相互加强实验
• 4.5.2 Corel数据集实验结果
• 4.5.3 UW数据集实验结果
• 4.5.4 命名实体对文档相似性加强实验
• 4.6 小结
• 第5章 多幅相关图像联合标注技术
• 5.1 问题提出的背景
• 5.2 多幅图像联合标注模型
• 5.2.1 家庭影集图像聚类
• 5.2.2 图像簇的标注
• 5.2.3 基于多图的半监督学习
• 5.2.4 考虑多种相关性的半监督学习框架
• 5.3 人机交互
• 5.4 实验
• 5.4.1 数据集
• 5.4.2 性能评价
• 5.4.3 实验结果
• 5.5 小结
• 第6章 个性化图像标注模型
• 6.1 引言
• 6.2 个性化推荐研究现状
• 6.3 个性化图像标注词推荐模型
• 6.3.1 DCMRM
• 6.3.2 P-DCMRM
• 6.3.3 模型估计
• 6.4 实验
• 6.4.1 实验数据集
• 6.4.2 性能比较
• 6.5 小结
• 第7章 总结与展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 致谢
• 在读期间发表的学术论文
• 项目资助情况