基于多标签学习的图像语义自动标注研究

基于多标签学习的图像语义自动标注研究

论文摘要

随着多媒体数字化技术的发展和推广、存储成本的降低、网络传输带宽的增长,各种多媒体数据如图像、视频等飞速膨胀逐渐成为信息的主流,并对人们的生活和社会发展产生重要的影响。“语义清晰”是大规模多媒体数据管理的重要前提,因此通过信息技术自动获取多媒体数据对象的语义内容的研究具有十分重要的理论与实践意义,引起了学术界与工业界的高度关注。图像是视频的基础,在多媒体数据管理中占有重要的地位,因此图像语义的自动标注技术是当前相关领域的研究热点。图像语义的自动标注本质上是一个“学习”问题,即根据图像的视觉内容推导出图像的语义标签。因此,各种机器学习、统计推理技术都应用于图像标注的研究中,并在不断的深化和推进。然而,由于图像标注中“语义鸿沟”以及“多标签”问题的影响,现有方法的标注性能仍有待进一步提高。本文围绕图像标注的多标签特点,集中利用多标签相关性,对多标签带来的数据重叠、数据不平衡等问题以及Web图像标注开展研究,在基于生成模型的多标签传递、生成模型与判别分类方法相结合的图像标注、基于噪声训练集的Web图像标注等方面进行了新的尝试,提出多个具有较好性能的图像标注方法。本文主要研究内容如下:1.提出扩展生成模型的图像标注方法:为了有效利用多标签之间的相关性,将原始生成模型扩展为对多标签同时标注,并提出启发式迭代算法进行求解。在该方法中,提出主题-图像-区域多粒度层次特征估计模型,对语义关键词之间的相关性进行分析,并使两者在提出的迭代算法中相互结合共同改进标注性能。实验证明所提基于扩展生成模型的图像标注方法较传统生成模型在标注准确度上有明显改进。2.提出基于可判别超平面树的图像标注方法:基于待标注图像的高视觉生成领域构造局部隐藏主题层次结构,并在其基础上构造可判别超平面树。在引入分类器的判别能力的同时,保留了基于概率模型的图像语义标注的优点,实现将生成模型与判别分类方法相结合改进图像标注。实验证明所提基于可判别超平面树的图像标注方法较之传统生成模型和判别分类模型在标注准确度上有明显提高。3.提出基于局部多标签分类的图像标注方法:给出将生成模型与判别分类技术相结合用于图像标注的另一个解决思路,更深层次的考虑并区分特征相似所隐含的不同语义模式,并对多标签语义特征空间及特征空间的分类边界同时进行考虑,以使生成的隐藏主题同时获得较大的语义和视觉可分性。实验证明所提基于局部多标签分类的图像标注方法较之传统生成模型和判别分类模型在标注准确度上有明显提高。4.提出基于噪声训练集的Web图像标注方法:本文给出一个完整的Web图像标注解决方案。首先提出一个自动生成Web图像标注训练集的“轻量级”方法,进而针对训练集中的噪声数据,设计基于混合模型局部Fisher判别分析的Web图像标注方法。实验表明所提标注方法在存在噪声数据的情况下较传统标注方法获得较好的标注效果。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  • 1.1 引言
  • 1.2 存在的问题及研究方向
  • 1.3 本文工作
  • 1.4 本文组织结构
  • 第二章 相关工作及研究背景
  • 2.1 图像语义标注的基本框架
  • 2.2 图像内容表示及特征提取
  • 2.3 标注模型
  • 2.3.1 基于生成模型的图像标注方法
  • 2.3.2 基于判别分类模型的图像标注方法
  • 2.3.3 多标签学习
  • 2.4 隐含语义分析
  • 2.5 基本的统计平滑技术
  • 2.6 Web图像标注
  • 2.7 小结
  • 第三章 基于扩展生成语言模型的图像标注方法
  • 3.1 基本思想
  • 3.2 基于扩展生成模型标注方法的基本框架
  • 3.3 词的相关性度量
  • 3.4 TIRM特征生成概率估计
  • 3.4.1 连续特征生成概率估计
  • 3.4.2 TIRM概述
  • 3.4.3 基于主题的生成概率估计
  • 3.4.4 基于区域最大权匹配的生成概率估计
  • 3.4.5 TIRM特征生成概率计算
  • 3.5 算法总结
  • 3.6 实验
  • 3.6.1 实验建立
  • 3.6.2 算法整体性能度量
  • 3.6.3 词的相关性有效性度量
  • 3.6.4 TIRM特征生成概率有效性度量
  • 3.6.5 与其它相关方法的比较
  • 3.7 小结与进一步工作
  • 第四章 基于可判别超平面树的图像标注方法
  • 4.1 基本思想
  • 4.2 基于可判别超平面树标注方法的基本框架
  • 4.3 可判别超平面树构造
  • 4.3.1 类层次结构生成
  • 4.3.2 可判别超平面树生成
  • 4.3.3 基于可判别超平面树的分类
  • 4.4 基于局部相关类的标注
  • 4.5 算法总结
  • 4.6 实验
  • 4.6.1 实验建立
  • 4.6.2 参数调整
  • 4.6.3 和基于生成模型的标注方法比较
  • 4.6.4 和基于分类的标注方法比较
  • 4.7 小结与进一步工作
  • 第五章 基于局部多标签分类的图像标注方法
  • 5.1 基本思想
  • 5.2 基于局部多标签分类标注方法的基本框架
  • 5.2.1 语义空间最大边界
  • 5.2.2 特征空间最大边界
  • 5.2.3 最优边界
  • 5.3 算法总结
  • 5.4 实验
  • 5.4.1 实验建立
  • 5.4.2 和基于生成模型的标注方法比较
  • 5.4.3 和基于分类的标注方法比较
  • 5.5 小结与进一步工作
  • 第六章 基于噪声训练集的Web图像标注
  • 6.1 基本思想
  • 6.2 基于噪声训练集的Web图像标注
  • 6.2.1 Web数据处理
  • 6.2.2 基于MLFDA的Web图像标注
  • 6.3 算法总结
  • 6.4 实验
  • 6.4.1 Web数据处理有效性验证
  • 6.4.2 Web图像标注有效性验证
  • 6.5 小结与进一步工作
  • 第七章 结束语
  • 参考文献
  • 攻读学位期间作者的研究成果
  • 致谢
  • 相关论文文献

    标签:;  ;  ;  ;  ;  ;  ;  ;  ;  

    基于多标签学习的图像语义自动标注研究
    下载Doc文档

    猜你喜欢