基于单张人脸图片和一般模型的三维重建及其应用

论文摘要

本文提出一种使用单幅人脸照片进行特征提取、标准模型变形的全自动三维人脸重建方法。该方法对单幅正面照片（存在一定侧面角度[-10°,+10°]）进行自动三维人脸重建,利用形变模型的先验统计知识来获取深度信息,再对一般人脸模型变形。只需一张正面照片,允许一定侧面角度[-10°,+10°],降低了对输入照片的要求,提高了建模的鲁棒性。实验证明,此方法可对一般人脸照片进行快速自动的真实感三维重建,有较好的实用价值,可用于人脸识别、动画制作等领域。使用改进ASM方法自动精确提取人脸特征点,通过使稀疏形变模型匹配平面特征点来获取照片人脸的深度信息,再将一般人脸模型变形到特定人脸。基于肤色模型优化的ASM提取人脸特征,使得一定角度的侧面照片也可以有很好的重建效果。同时,使用基于肤色模型的纹理融合技术使侧面信息缺失的问题得到很好解决。实验证明,该方法快速简便,只用单幅照片全自动化完成重建,无需用户交互,生成的三维模型有较好的真实感。具体研究内容有几个部分:1)基于人脸检测基础上的局部和全局特征提取生物特征提取是最近值得关注的研究热点,这也是模型重建的重要前期工作。对于局部特征,本文考虑眼睛检测。其中瞳孔中心的提取用于ASM算法的初始定位,为提高更好的收敛做好基础。对于全局特征,本文采用改进的ASM算法。为了提高纹理重建效果,引进基于肤色模型的ASM特征点校正,让特征点不落在皮肤之外,避免了纹理重建时的侧面纹理缺失现象。2)提出新的纹理重建思路只用一幅正面人脸图像重建其对应的三维人脸模型。对于重建过程,本文将其分为形状重建和纹理影射两个部分。形状重建基于特征点提取的基础,将二维和三维进行很好的结合,最优化逼近获得三维特征点,最后根据弹性算法将其变形获得形状模型。而纹理影射,本文用基于肤色模型优化的ASM提取的人脸特征来映射校正前的ASM特征点,将不对称的纹理信息映射到对称的重建模型上,有效避免了非严格正面人脸照片导致的侧面纹理缺失问题,获得较好的重建效果。3)更加人性化的应用程序demo框架为了让实验结果早日能应用到项目投资方和应用领域,本人使用面向对象的C++语言将核心算法及其功能封装在对象中,供实验室实用。同时,在VS 2005的MFC框架中搭建了一个实用而有友好的应用平台。4)对应人脸模型的在表情动画方面的应用在重建好的模型上,不仅仅是对三维人脸识别系统提供很好的方法,同时在诸多方面有较为宽广的应用。我们使用FDP（Facial DefinitionParameter,人脸定义参数）和FAP（Facial Animation Parameter,人脸动画参数）来实现人脸动画,所在项目的研究课题最终目标是将生成好的人脸模型做成说话头,结合翻书机器人组成助盲读书机器人来为盲人服务,本文将研究推进到人脸表情动画的应用上,未来会应用到语音口型动画上。对于上面的几个方面的深入研究,本文主要在以下几个方面取得了一定突破和进展,获得了一定研究成果。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 引言
• 1.2 三维人脸模型重建方法
• 1.3 国内外相关院所
• 1.3.1 国外相关院所
• 1.3.2 国内相关院所
• 1.4 论文的研究内容
• 1.5 论文结构
• 2 人脸特征定位
• 2.1 为什么人脸特征定位
• 2.2 特征点分类，常用方法
• 2.2.1 基于样本的人脸形状学习算法ESL
• 2.2.2 局部纹理约束的主动表观模型LTC-AAM
• 2.2.3 对ASM 的其它改进
• 2.2.4 基于AdaBoost 学习策略的特征定位
• 2.3 虹膜中心精确定位
• 2.3.1 作用概述
• 2.3.2 用积分投影法进行人眼粗定位
• 2.3.3 图像边缘提取
• 2.3.4 霍夫（Hough）变换
• 2.4 ASM 模版检测
• 2.4.1 点分布模型
• 2.4.2 ASM 方法的改进
• 2.4.2.1 瞳孔的精确定位
• 2.4.2.2 利用瞳孔进行模型初始化
• 2.4.2.3 利用边缘信息改变局部搜索方法
• 2.4.2.4 多策略自适应步长的确定
• 2.4.3 小结
• 2.5 ASM 基于肤色模型的校正
• 2.5.1 肤色点判定
• 2.5.2 校正特征点
• 2.6 本章小结
• 3 三维人脸模型重建
• 3.1 模型数据
• 3.2 形状重建
• 3.2.1 基本假设
• 3.2.2 二维特征点抽取
• 3.2.3 三维特征点抽取
• 3.2.4 最优化逼近
• 3.3 自由格式变形FFD（Free-Form Deformation）
• 3.3.1 自由格式变形
• 3.3.2 B-样条自由变形方法
• 3.3.2.1 自由变形过程
• 3.3.2.2 自由变形技术的数学基础
• 3.3.2.3 自由变形方法（FFD）
• 3.3.2.4 B-样条自由变形
• 3.4 纹理影射
• 3.4.1 纹理映射概述
• 3.4.1.1 网格模型与人脸纹理图的映射关系
• 3.4.1.2 圆柱纹理映射
• 3.4.2 使用基于肤色模型的特征点校正对重建过程的改进
• 3.4.2.1 原方法的缺陷和改进方法
• 3.4.2.2 使用校正后特征点进行纹理映射
• 3.5 实验结果
• 3.5.1 模型重建结果
• 3.5.2 试验结果比较
• 3.5.3 需要改进之处
• 3.6 本章小结
• 4 重建模型的应用
• 4.1 基于OpenGL 的三维人脸渲染
• 4.1.1 环境的初始化
• 4.1.2 人脸的绘制
• 4.2 用于三维人脸动画
• 4.2.1 MPEG-4 中三维人脸动画的几个基本概念
• 4.2.1.1 FAP
• 4.2.1.2 FAPU
• 4.2.1.3 FDP
• 4.2.2 MPEG-4 人脸运动参数（FAP）的计算
• 4.2.3 实验结果
• 4.3 应用程序及DEMO
• 4.3.1 用户界面
• 4.3.2 功能模块介绍
• 4.3.2.1 特征点现实模块
• 4.3.2.2 光照设置面板
• 4.3.2.3 光源效果展示
• 4.3.2.4 鼠标拾取模块实现实时鼠标拖动变形
• 4.3.2.5 背景更改
• 4.3.2.6 人脸表情选择
• 4.4 本章小结
• 5 总结与展望
• 参考文献
• 致谢
• 攻读硕士学位期间发表的学术论文