个性化的人脸漫画与动画合成方法研究

论文摘要

目前,国家和地方政府都大力发展创意文化产业,人脸漫画与动画是深受人们喜爱的创意文化内容之一。本文对基于照片的自动漫画人脸生成及其动画合成问题进行了研究,与传统基于规则法的思想不同,本文侧重采用机器学习方法从艺术家的作品中学习漫画知识,然后应用于个性化的漫画人脸生成。同时,学习获得人脸参数控制的形变与褶皱生成模型,以驱动人脸合成个性化人脸动画。本文工作具体包括以下几个部分：1.提出了一种基于人脸形状子空间的个性化漫画人脸生成方法。基于真实人脸和漫画人脸二者的形状数据集采用主成份分析（PCA:Principal Component Analysis）建立形状特征子空间,可以表征人脸的多特征基元。基于多特征基元,对一批真实人脸及其相应的漫画人脸采用ELM（Extreme Learning Machine）学习二者之间的映射模型。最后用该模型对输入的真实人脸预测其漫画人脸形状。2.提出了一种人脸几何参数控制的个性化人脸动画方法。传统单纯的人脸几何控制图像变形可以高效表现人脸形变,但是无法表现褶皱细节,例如额头皱纹、酒窝。本文首先定义弹塑表情比率图（Flexible Expression Ratio Image, FERI）,并用主成分分析（Principal Component Analysis, PCA）将其压缩成Eigen FERI,以准确量化人脸的褶皱。然后基于训练库学习获得人脸形变机制和起皱机制。形变机制利用几何控制图像变形来驱动人脸形变,起皱机制则利用支持向量机（Support Vector Machine, SVM）来驱动褶皱,最后二者结果进行合并可以生成具有褶皱纹理的个性化人脸动画。3.进行了集成应用研究。对主动形状模型ASM （Active Shape Model）进行了应用研究,能够有效应用于人脸照片的特征提取,从照片中发现人脸,并提取特征点。使得本文系统自动化程度提高；对基于图切分（Graphcut）理论的图像分割进行了研究,能够有效用于人脸照片背景的去除。通过ASM检测到人脸区域后,即获得了有用的前景信息,代替传统Graphcut中的交互操作,实现了人脸背景去除的自动化。4.开发了基于人脸照片的漫画生成系统。本文基于Windows XP操作系统,采用Visual C++为开发工具,对前述模块进行集成和封装,能够全自动对人脸照片进行处理,变形生成漫画人脸。本文主要贡献在于：1)能够采用机器学习方法解决个性化漫画人脸的模式学习问题。基于子空间的映射学习方法可同步发现人脸的多项特征,并实现整体协调变形。对本文方法生成的漫画人脸与常用的规则法产生的变形人脸进行了实验比较,并采用平均满意度的方法对实验结果进行评测,表明本文生成的漫画人脸在夸张性和艺术性方面均比规则法有较大提高。2)采用机器学习方法解决个性化人脸动画过程中褶皱纹理生成的问题。可以由人脸形变参数预测人脸的褶皱纹理,产生个性化动画效果。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 论文研究背景
• 1.2 人脸动漫的发展简介
• 1.3 人脸动漫的特点
• 1.4 相关研究工作
• 1.5 论文主要贡献
• 1.6 论文组织结构
• 第二章 主成份分析与人工神经网络
• 2.1 主成份分析方法PCA
• 2.2 人工神经网络（ANN）
• 2.2.1 人工神经网络（ANN）简介
• 2.2.2 BP神经网络
• 2.2.3 ELM学习网络
• 第三章 人脸数据采集与特征提取
• 3.1 数据采集
• 3.2 基于ASM的人脸特征提取
• 3.3 人脸数据归一化处理
• 第四章 基于子空间多特征学习的个性漫画合成
• 4.1 人脸PCA子空间多特征发现
• 4.1.1 训练人脸数据集的确定
• 4.1.2 样本混合比例及特征人脸个数的确定
• 4.2 基于人脸多特征的映射学习方法
• 4.2.1 映射学习方法流程
• 4.2.2 基于PCA子空间的神经网络映射学习
• 4.3 实验条件与结果比较分析
• 第五章 几何映射的个性人脸动画合成
• 5.1 物理特征量化
• 5.1.1 肌肉激励、形变参数
• 5.1.2 褶皱参数
• 5.2 几何映射机制建模
• 5.3 形变机制
• 5.3.1 人脸网格建模
• 5.3.2 网格顶点变形
• 5.3.3 仿射变换
• 5.4 起皱机制
• 5.4.1 FAP-Eigen FERI样本集
• 5.4.2 SVM离线训练
• 5.5 实验分析
• 第六章 系统实现与应用
• 6.1 漫画人脸生成系统
• 6.2 人脸合成系统应用
• 第七章 结论
• 7.1 本文工作总结
• 7.2 下一步研究方向
• 参考文献
• 致谢