基于多尺度特征的视频图像拼接技术研究

论文摘要

视频图像拼接技术是数字图像处理、图形学和机器视觉的重要研究内容之一,它能通过多幅序列的小视角视频图像,建立大视角图像,在地质勘测、气象监视、遥感遥测和军事侦察等领域中均有广泛的应用。论文重点研究了基于特征的视频图像拼接技术,主要内容和研究工作如下:1)提出了一种多尺度Harris角点特征提取的方法。Harris角点提取方法不存在尺度不变性,且对于Harris角点特征通常只能检测出其在空间的位置,而难以对其局部不变性进行描述。针对该问题,从两方面进行了解决:一是在多尺度空间中对Harris角点进行提取,确定角点的尺度信息,精确对角点定位;二是在图像多尺度空间中对角点特征进行描述,根据角点的尺度信息,借鉴SIFT特征描述方法,对多尺度Harris角点的不变特征进行鲁棒的描述。实验表明,本文方法能稳定的提取图像中多尺度角点信息,同时能有效地表述特征的不变信息,从而为后续匹配奠定良好基础。2)提出一种基于多尺度角点特征与角点空间分布特征的点匹配算法。通过把点匹配问题转化为目标函数的优化问题,利用函数最小化来求得图像特征之间的匹配矩阵和空间变换参量。在目标函数构造中,考虑了特征点不变特征矢量、特征点空间分布特征(shape context特征)、以及匹配矩阵的约束信息。目标函数的优化求解过程中,首先通过构造虚拟点对估计点集之间的仿射变换关系,而后通过对目标函数求导来求取目标点集之间的匹配关系。最终,通过反复迭代,得到最优解。算法在匹配过程中同时考虑了特征点不变特征矢量、特征点空间分布,有效地增强了算法在噪声、高维几何变换影响下匹配的可靠性。3)给出了一套利用多尺度角点特征的视频图像拼接方案。该方案通过多尺度角点描述特征对拼接图像进行初匹配,从而避免了通常全景拼接中需要进行的ROI的选取过程;然后,运用第四章中局部特征匹配方法,对图像特征进行匹配;在此基础上,采用平面投影方法,进行图像配准,渐入渐出方法进行图像的融合。本文方案能有效地实现静态场景下的视频全景拼接,为该技术在实际军民领域中的应用奠定良好的基础。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题背景及研究的目的和意义
• 1.2 国内外研究现状
• 1.2.1 视频图像拼接技术研究现状
• 1.2.2 图像匹配技术的研究现状
• 1.3 主要研究内容及章节安排
• 第二章 基本成像几何空间变换模型
• 2.1 针孔相机模型及摄像机坐标系
• 2.1.1 单像机成像模型
• 2.1.2 多视点成像模型
• 2.2 基本的图像空间变换模型
• 2.2.1 等距（欧氏）变换模型
• 2.2.2 相似变换模型
• 2.2.3 仿射变换模型
• 2.2.4 透视变换模型
• 2.3 本章小结
• 第三章 多尺度Harris 角度角点检测与特征描述
• 3.1 高斯尺度空间及性质
• 3.1.1 高斯尺度空间
• 3.1.2 高斯尺度空间的基本性质
• 3.1.3 尺度选择基本准则
• 3.2 多尺度的Harris 角点检测
• 3.2.1 Harris 角点检测基本原理
• 3.2.2 多尺度Harris 角点提取
• 3.3 多尺度Harris 角点不变特征描述
• 3.3.1 特征点主方向确定
• 3.3.2 特征点矢量生成
• 3.4 实验
• 3.5 本章小结
• 第四章 基于特征描述与空间分布的图像特征匹配算法
• 4.1 引言
• 4.2 基于多尺度特征的匹配关系求解
• 4.2.1 基于多尺度角点特征描述的匹配目标函数
• 4.2.2 空间Shape Context 特征约束
• 4.2.3 关于匹配矩阵的1-1 匹配约束
• 4.2.4 模糊熵值约束
• 4.2.5 匹配关系求解
• 4.3 空间变换关系与两点估计求解
• 4.4 实验
• 4.5 本章小结
• 第五章 视频图像拼接
• 5.1 引言
• 5.2 基于多尺度角点描述特征的初匹配方法
• 5.3 平面投影法的全景图拼接
• 5.4 渐入渐出图像融合算法
• 5.5 实验
• 5.6 本章小结
• 第六章 结论及展望
• 6.1 工作总结
• 6.2 工作展望
• 致谢
• 参考文献
• 作者在学期间取得的学术成果