3D及多视人耳识别关键技术研究

论文摘要

人体生物特征识别是利用个体的各种生物特性,包括生理和行为特性,将个体身份从群体里辨识出来的一种技术。目前,基于生理特征的人脸、虹膜、指纹、掌纹和基于行为习惯的笔迹、步态等生物特征识别技术已得到了一定程度的研究和应用。近年来又兴起了一种新的生物特征识别技术-人耳识别。人耳不受表情、肤色和化妆的影响,人耳形状基本不受年龄变化的影响。同时,人耳识别可以一种非入侵的方式进行,易于接受。此外,人耳具有丰富的结构特征和特殊的位置特征,据统计,人耳在一万人的大样本库下仍具有唯一性。这些特性使得人耳识别成为一种有前景的新技术。当前国内外人耳识别工作主要集中在2D人耳正视图及3D人耳距离图像（Range image）识别。由于人耳外观对于姿态的敏感性,当训练和测试耳朵样本处于多个不同视角时,已有的2D人耳识别方法将失效。此外,已有的3D耳朵方法识别工作在离线方式,需要成本昂贵的激光扫描仪采集3D耳朵数据。这种方法不仅需要获得高质量的耳朵距离图像,还需要一个完全配准的2D耳朵彩色图像作为辅助。不同于上述的研究工作,本文的研究集中于多视2D人耳识别和低成本线激光扫描点云3D人耳的识别。同时,尝试了基于两视的2D耳朵形体特征提取以及3D人耳重建。本文的研究内容涉及到2D和3D人耳识别的多个方面:2D人耳形体特征提取、2D多视人耳识别、基于多视几何的3D人耳重建、3D人耳模型配准、线激光扫描点云3D人耳识别、人耳采集和识别装置等。本文的创新性工作如下:提出了两视耳朵形体特征提取方法。不仅提取正视耳朵的各种几何特征及通过计算Tchebichef系数提取正视形体仿射不变高阶矩特征,同时提取后视耳朵的形体特征。克服了已有方法只能提取单一正视耳朵几何特征的不足。提出了基于零空间核鉴别分析（Null space kernel discriminate analysis, NKDA）的B样条姿态流形的多视耳朵识别方法。通过零空间核鉴别分析提取多视耳朵的非线性特征以构建鉴别特征空间,在此空间内利用B样条构建耳朵的姿态流形。从而利用样本点到姿态流形的最小投影距离进行耳朵主体识别。尝试了基于多视几何的自动和半自动3D耳朵重建技术。通过检测角点获得耳朵特征点,讨论了采用随机采样一致性（Random sample consensus,RANSAC）算法进行基础矩阵求解以自动匹配特征点时出现的问题。根据耳廓形状半自动匹配特征点,运用标定信息进行外极校正,最后利用稠密匹配重建3D耳朵模型。并对3D模型进行纹理贴图。提出了增强Mesh PCA的3D耳朵模型姿态归一化方法和一套基于神经网络的3D耳朵配准策略。详细分析了传统Mesh PCA不确定性的原因,并提供改进了Mesh PCA不确定性的方法。在此基础上,引入神经网络以自适应确定3D配准变换矩阵。提出了基于改进ICP和局部曲面重建的3D耳朵线激光扫描点云模型匹配方法。利用改进ICP方法进行3D模型配准,并计算配准后模型之间的均方根（Root mean square, RMS）距离。同时利用全二次曲面重构配准后模型的局部曲面,并计算对应点到此局部曲面的代数距离。结合配准均方根距离和代数距离形成匹配特征矢量,进行匹配。提出了基于点云模型截面曲线匹配的3D耳朵匹配方法。利用一组平行于主轴的平面截取3D耳朵模型获得截面轮廓曲线,从而将3D形体匹配转化为2D截面曲线匹配问题。计算截面曲线的曲率串和夹角链码串,利用最大公共曲率串对应的点对之间的距离差和夹角链码串的角度差形成匹配特征矢量,进行匹配。此外,基于显著性水平和样本匹配得分的统计分布,根据小样本数据集下耳朵识别的性能,评估和预测了提供的耳朵识别方法在大样本数据集中的验证性能和累积匹配性能。采用低价的条纹激光扫描器、伺服电机、和彩色摄像头构建条纹激光扫描3D耳朵模型获取装置。利用三角原理,重建3D耳朵形体。同时完成3D条纹点云模型预处理。利用OpenCV和OpenGL开发了3D耳朵采集软件部分。在此基础上,应用基于ICP配准和局部曲面重建算法进行3D耳朵识别。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 人耳识别的原理和研究意义
• 1.3 国内外的研究现状
• 1.4 人耳识别研究的难点
• 1.5 本文主要的研究内容及章节安排
• 第二章 耳朵数据采集和预处理
• 2.1 引言
• 2.2 2D 耳朵采集与预处理
• 2.2.1 2D 耳朵采集
• 2.2.2 2D 耳朵预处理
• 2.3 3D 耳朵采集与预处理
• 2.3.1 3D 耳朵线激光扫描
• 2.3.2 耳朵激光条纹图像处理
• 2.3.3 3D 耳朵点云模型
• 2.4 本章小结
• 第三章 基于两视的耳朵形体特征提取和3D 耳朵重建
• 3.1 引言
• 3.2 两视耳朵形体特征提取
• 3.2.1 正视形状特征提取
• 3.2.2 后视形体特征提取
• 3.3 基于两视形体特征的2D 耳朵识别
• 3.4 基于两视的3D 耳朵重建
• 3.4.1 外极几何基本原理
• 3.4.2 耳朵特征点检测
• 3.4.3 两视基础矩阵求解
• 3.4.4 基于本质矩阵E 的直接耳朵3D 重建
• 3.4.5 交互式3D 耳朵重建
• 3.5 本章小结
• 第四章 基于NKDA B 样条姿态流形构建的多视耳朵识别
• 4.1 引言
• 4.2 多视耳朵姿态流形推断
• 4.3 基于NKDA 的B 样条姿态流形构建
• 4.3.1 多视耳朵NKDA 非线性耳朵特征提取
• 4.3.2 B 样条简介
• 4.3.3 鉴别B 样条姿态流形
• 4.4 实验和比较
• 4.4.1 多视耳朵识别实验结果
• 4.4.2 与流形学习方法的比较
• 4.4.3 NKDA B 样条姿态流形多视人脸识别
• 4.5 本章小结
• 第五章 3D 耳朵模型姿态归一化及配准
• 5.1 引言
• 5.2 3D 配准的意义、原理分析和相关工作
• 5.2.1 3D 配准的意义
• 5.2.2 3D 配准原理
• 5.2.3 国内外3D 配准相关的工作
• 5.3 3D 模型Mesh PCA 姿态归一化
• 5.3.1 Mesh PCA 的不确定性
• 5.3.2 增强Mesh PCA 方法
• 5.3.3 实验与讨论
• 5.4 神经网络3D 模型配准策略
• 5.4.1 3D 模型预处理
• 5.4.2 3D 配准神经网络结构
• 5.4.3 神经学习
• 5.4.4 实验与讨论
• 5.5 本章小结
• 第六章 线激光扫描点云3D 耳朵识别
• 6.1 引言
• 6.2 3D 耳朵点云模型预处理
• 6.3 基于ICP 和局部曲面重建的3D 耳朵识别
• 6.3.1 基于ICP 和局部曲面重建的耳朵识别原理和方法
• 6.3.2 基于ICP 和局部曲面重建的3D 耳朵识别实验
• 6.4 基于截面轮廓线匹配的3D 耳朵识别
• 6.4.1 耳朵识别截面轮廓线匹配原理
• 6.4.2 截面轮廓线获取
• 6.4.3 截面轮廓线特征提取和匹配
• 6.4.4 基于截面轮廓线匹配的3D 耳朵识别实验
• 6.5 性能评估和预测
• 6.5.1 验证性能评估
• 6.5.2 CMC 识别性能预测
• 6.6 本章小结
• 第七章 总结和展望
• 7.1 全文总结
• 7.2 未来工作展望
• 致谢
• 攻读博士学位期间完成的论文
• 攻读博士学位期间参与科研项目