基于图的视频检索

论文摘要

随着数码采集设备的普及和多媒体技术的发展,互联网上的视频数据急剧增长。面对海量视频数据,如何进行视频的存储、组织、管理和分析,已经成为视频领域最主要的方向。目前处在实用阶段的视频搜索引擎都是基于文本策略的,如Google Video Search、Yahoo Video Search、Bing Video Search和百度。然而视频呈现多样化的形式、丰富的语义,通常是难以用语言工具完整描述和表达的,为了解决这种文本检索的缺陷,基于内容的视频检索技术被提出,国内外的很多大学、研究机构纷纷加入进行相关的研究。聚类是视频分析中经常用到的方法。本文将现有的聚类算法划分为五大类：划分的方法、密度的方法、层次的方法、网格的方法和以仿射传播为代表的聚类方法,并总结了他们的优缺点。其中Kmeans是最典型的聚类算法,因其简洁、快速而被广泛使用。针对传统Kmeans算法对初始聚类中心敏感和聚类参数K难以确定的问题,本文提出了一种基于关联图划分的Kmeans算法。该算法能够有效地根据数据的分布特性选取初始聚类中心,能够在指定的数据密集程度下自适应确定聚类数目。大量的实验表明上述改进的Kmeans算法具有较高的准确率和稳定性。视频是一种非结构化数据,如何组织视频库是视频检索的首要工作。建立视频数据库的索引技术是这方面的主要方法。第三章中首先描述了优化的基于内容的视频检索框架,包括四部分：视频库模块、查询模块、检索模块、检索结果优化模块；其次对视频作结构化处理：通过镜头分割算法将视频划分成镜头,再通过基于关联图划分的聚类算法将镜头聚类生成若干个镜头簇,并计算镜头之间、镜头簇之间的相似度。同一个镜头簇内的镜头在视觉上具有一致性。层次结构是信息组织的一种重要方式,本文采用层次结构组织镜头簇,描述了一种粗查询与精查询相结合的二级查询机制：粗查询阶段以镜头簇为基本单位,进行近似查询；精查询阶段,展开镜头簇,在镜头级别上比较,查找最相似的前k个镜头。这种二级查询机制较大程度上压缩了数据量,减少了访问的数据集和比较的次数。大量实验表明,本文建立的层次聚类索引技术有较高的查全率、查准率和较快的检索效率。一个良好的视频检索系统,不仅期待能够返回正确的相关的视频,而且还希望返回的结果是简洁的。视频数据库中往往存在大量的冗余视频,特别是在同一个索引目录下的视频有极大的相似性,甚至存在一个视频的多个拷贝副本。如何提高视频检索结果的简洁性是本文的另一个出发点。针对视频拷贝的特性,本文提出了一种基于二部图匹配的镜头相似度度量方法。算法首先提取了两个镜头的关键帧序列,提取颜色直方图作为关键全局特征、Harris角点作为局部特征,通过构造二部图,寻找二部图的最大匹配序列,从而计算出镜头之间的相似度。结合上文提出的视频数据库的聚类索引技术和二级搜索机制,在粗查询阶段,进行镜头簇级别的拷贝检测,在精查询阶段,采用基于二部图匹配的镜头相似度度量方法,计算镜头之间的相似度,与给定的阈值做出比较,从而判断出是否为源视频的拷贝副本。实验证明了本文提出的视频拷贝检测算法对亮度变化、画面噪音、不同帧率、添加字幕等拷贝类型有较好的检测效果。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 绪论
• 1.1 研究背景及意义
• 1.1.1 研究背景
• 1.1.2 基于内容的视频检索技术
• 1.1.3 应用领域
• 1.2 基于内容视频检索的研究现状与分析
• 1.3 论文的主要内容及组织安排
• 第二章 基于关联图划分的Kmeans算法
• 2.1 聚类算法概述
• 2.2 传统的聚类算法
• 2.2.1 划分的方法
• 2.2.2 密度的方法
• 2.2.3 层次方法
• 2.2.4 网格方法
• 2.2.5 其他的算法
• 2.2.6 传统聚类算法的优缺点分析
• 2.3 KCG算法的设计
• 2.3.1 关联图的构造
• 2.3.2 关联度的定义和计算
• 2.3.3 KCG具体描述如下
• 2.3.4 KCG的几点说明
• 2.4 实验设计及结果分析
• 2.4.1 聚类性能的测试
• 2.4.2 聚类参数k的自动估计
• 2.5 小结
• 第三章 基于聚类的视频层次索引技术
• 3.1 视频的预处理
• 3.1.1 镜头分割
• 3.1.2 关键帧提取
• 3.1.3 镜头间相似性度量
• 3.1.4 镜头聚类
• 3.2 基于聚类的视频层次索引
• 3.2.1 视频索引研究现状
• 3.2.2 视频库的聚类索引
• 3.2.3 索引结构性能的评价
• 3.3 实验结果与分析
• 3.3.1 实验结果
• 3.3.2 查询性能的比较
• 3.4 小结
• 第四章 基于二部图匹配的视频拷贝检测算法
• 4.1 视频拷贝的介绍
• 4.1.1 视频拷贝的常见类型
• 4.1.2 视频拷贝检测关键技术
• 4.2 视频拷贝检测研究现状
• 4.2.1 基于全局特征的拷贝检测方法
• 4.2.2 基于局部特征的拷贝检测方法
• 4.3 基于二部图匹配的镜头相似性度量
• 4.3.1 镜头特征提取
• 4.3.2 镜头相似度计算
• 4.4 视频拷贝检测算法
• 4.5 视频拷贝检测性能的评价
• 4.5.1 查准率和查全率
• 4.5.2 查询时间
• 4.6 实验结果与分析
• 4.7 小结
• 第五章 总结和展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文
• 攻读学位期间参加的科研项目