人脸表情识别中若干关键技术的研究

论文题目: 人脸表情识别中若干关键技术的研究

论文类型: 博士论文

论文专业: 信号与信息处理

作者: 何良华

导师: 邹采荣

关键词: 情感计算,自动人脸表情识别,人脸检测,梯度模板,面部特征配准,主动形状模型,主成分分析,离散小波变换,离散余弦变换,拉直,方法,局部二元模式,独立分量分析

文献来源: 东南大学

发表年度: 2005

论文摘要: 自动人脸表情识别(AFER)是近年来发展起来的研究热点,其目的是让计算机等机器辨认出人类特有的情感表现之一——表情。由于人表情的复杂、微妙等特性使得表情识别变得异常的具有挑战与艰巨性,就整个识别系统来说,主要表现在以下几个方面:(1)人脸数据获取的速度与准确率问题;(2)作为识别必要前提条件的面部关键特征精确定位问题;(3)表情特征的提取与识别问题。本文重点探讨了人脸表情识别中的上述关键问题。主要工作总结如下:1.从情感出发,在简要介绍情绪理论的基础上,全面综述了表情识别的研究历史与现状。讨论了情感计算在国际与国内的研究状况,介绍了情感的基础情绪的基本理论,重点而全面地综述了情绪的表达方式之一——面部表情的识别技术。将人脸表情识别工作划分为两个部分,概括地描述了表情识别的一般模型。根据表情识别的目的、手段将其分为三个阶段,对每个阶段的研究特点以及代表性方法进行了较为详尽的介绍。从面部特征自动定位、人脸表示模型、分类和识别算法三个角度对人脸表情识别领域的主要技术方法进行了分类整理,阐述了人脸表情识别的研究现状。简要介绍了几种主要的人脸表情库,总结了现有的主要人脸表情识别系统的情况。最后,本文讨论了人脸表情识别领域目前仍然面临的主要技术难题和开放问题。2.研究了基于肤色与模板的人脸检测问题,提出了一种基于肤色与梯度模板的人脸检测算法。人脸检测是人脸研究中的必要研究课题,已经出现了多种经典算法。但是基于肤色的人脸检测研究时间并不长。本文在前人对肤色空间的研究成果基础上,采用了一种新的人脸匹配模板——梯度模板,试图使其包含有尽量多的人脸信息。整个算法达到了肤色空间过滤大部分非肤色区域,人脸梯度模板准确检测的效果。3.研究了特征精确配准问题,对活动模板模型在搜索空间与搜索过程上做了一些改进。面部特征精确配准是鲁棒实用的人脸表情识别系统的基本前提。主动形状模型(ASM)是目前解决该问题的主流方法。本文详尽地分析主动形状模型(ASM)的工作原理,仔细地讨论了它的优缺点,并在此基础上,提出了三点改进:(1)针对经典ASM算法中模型空间构造的不足,在原模型空间的基础上加入了形状变化子空间,提出了最优搜索空间的概念,提高了原模型空间的模型表达能力(2)针对经典ASM算法及其以后的改进算法中没有任何对搜索结果进行评价的现实,提出了一种合理、简便、易行的评价方法,使搜索过程变得不再盲目,搜索结果更符合实际情况。(3)在第二步评价的基础上,针对ASM算法搜索过程中模型搜索和图像纹理搜索相互独立的缺点,提出了一种最优搜索算法,其中使用了反馈策略,使得两种空间的搜索结果互相约束,互相利用,搜索过程变得更加合理,智能。这些改进在一定程度上弥补了ASM算法中模型空间与搜索过程的不足,更能够比较精确地定位预定义的面部关键特征。为后续的人脸表情识别打下了良好的配准基础。4.研究了独立分量特征(IC)人脸表情表示方法,提出了一种AdaICA人脸表情识别新方法。利用独立分量作为特征进行判别分析,不仅是特征之间相互独立,而且还能充分利用变量的高阶统计量信息,具有很强的优势。但是它具有两个方面的缺陷:第一,独立基的获取结果很随机,并不唯一。第二,独立基的判别分析性能不稳定,有的独立基可能具有很强的识别能力,有的则相对较弱。总的来说是获取与选择独立基成为两大难点。针对这个问题,本文考虑了统计性原理,多次运行ICA算法,在此基础上,将Boosting策略创新性地应用于ICA特征的优化与选择,最终得到数目较少、判别分析能力较强的AdaIC特征,并最终通过对AdaIC特征的判别分析实现人脸表情识别——即所谓的AdaICA人脸表情识别新方法。在JAFFE与自选两个人脸表情图像库上的对比实验表明AdaICA方法可以有效提取判别特征,识别精度也比传统方法有了较大提高。5.研究了基于离散小波与离散余弦的人脸表情全局特征提取与分析方法。简单地研究了全局表情特征的提取问题,采用离散小波对图像进行压缩,利用离散余弦变换对压缩图像进行去相关、聚能运算,并将最终的对角拉直主要能量数据作为待识别特征。算法简单,实现容易。6.研究了基于局部特征的表情分析方法,提出了一种新的局部二元模式表情识别算法。由于表情是由一些局部肌肉变形组合而来,准确的局部特征在表情识别中应该具有很强的优势。但是以下几点需要注意:第一,采用的算法能够真正地提取局部特征,真正地反映局部的拓扑结构或者是空间信息,而不是将全局特征提取算法用在图像的局部上。第二,提取的特征对局部的变化很敏感,微小的局部变化都应该被反应出来,以保证准确地提取很细微的表情特征。第三,具有一定的组合能力,因为表情是局部形变的组合。基于以上几点考虑,本文引入了在图形学中具有很强描述纹理能力的局部二元模式(Local Binary Patterns,LBP)算法,改进了其中的三点对表情识别不利的因素:(1)将原图像经过小波包分解并在其它频率图像为零的情况下重构,得到了四幅与原图像大小相等的不同频率图像,在一定程度上增加了原图像的数据,改进了原算法数据量不足的问题。(2)将图像由粗到精的方式分为好多LBP直方图块,采用级联的策略串联每个块中的LBP直方图,这种提取方式的改进使得最终的特征同时包含有局部和全局的纹理信息,使得在识别的时候性能更鲁棒。(3)通过分析LBP图像的特征,提出了一种合理的定权策略,各种特征的组合一方面符合图像内容本身的信息特征,另一方面达到了一定的自适应要求。利用改进后的算法来进行表情判别分析,实验结果表明:本文的改进确实提高了原算法鲁棒性,增加了面部表情的识别率。

论文目录:

摘要

Abstract

第一章 绪论

1.1 研究背景与项目情况

1.2 自动人脸表情识别问题的描述

1.3 人脸表情识别的研究意义与典型应用

1.4 人脸表情识别的难点、优势与不足

1.4.1 人脸表情识别的难点

1.4.2 人脸表情识别的优势

1.4.3 人脸表情识别的不足

1.5 论文的定位与思考

1.5.1 论文的定位

1.5.2 表情识别的思考

1.6 问题的提出及本人的工作

1.6.1 问题的提出

1.6.2 本文主要工作

1.7 文章的组织结构

第二章 表情识别研究综述

2.1 情感研究的背景和意义

2.2 情绪理论研究

2.2.1 情绪理论的研究发展历史

2.2.2 情绪的分类

2.2.3 情绪的表达

2.3 人脸表情识别综述

2.3.1 人脸表情识别的一般计算模型探讨

2.3.2 人脸表情识别研究历史、现状概述

2.3.3 人脸表情识别主要技术方法归类

2.4 主要表情数据库的介绍

2.5 主要的表情识别系统

2.6 人脸表情识别领域的若干开放问题和技术发展趋势

2.6.1 若干开放问题探讨

2.6.2 可能的技术发展趋势

2.7 本章小结

第三章 基于肤色和模板梯度的人脸检测

3.1 引言

3.2 前人的工作

3.2.1 肤色检测

3.2.2 模板检测

3.3 基于肤色和梯度模板的人脸检测

3.3.1 肤色检测

3.3.2 模板检测

3.3.3 算法检测过程

3.4 实验及分析

3.5 本章小节

第四章 改进的主动形状模型

4.1 问题的提出

4.2 前人工作简介

4.3 搜索空间的改进

4.4 搜索过程的改进

4.5 搜索结果的评价

4.6 实验与分析

4.7 本章小结

第五章 基于DWT-DCT 的人脸表情识别

5.1 问题的提出

5.2 基于DWT-DCT 的人脸表情识别

5.2.1 离散小波变换

5.2.2 离散余弦变换

5.2.3 ZIGZAG 拉直

5.2.4 马氏距离识别

5.3 实验及分析

5.3.1 特征维数选取

5.3.2 表情识别实验

5.4 本章小节

第六章 人脸表情识别中独立特征的选取

6.1 问题的提出

6.2 前人的工作

6.2.1 独立分量分析（ICA）

6.2.2 AdaBoost 分类方法简介

6.3 AdaICA 人脸表情识别方法

6.3.1 独立分量特征的提取与分析

6.3.2 AdaBoost 学习

6.4 实验及分析

6.5 本章小结

第七章 基于改进LBP 算子的表情识别方法

7.1 观点的由来

7.2 前人的工作

7.3 基于改进的“局部二元模式”人脸表情识别

7.3.1 表情数据的小波包分解与重构

7.3.2 局部－整体（Local-Holistic）的LBP 特征提取

7.3.3 自适应权重的特征组合

7.4 实验分析

7.5 本章小结

第八章 总结与展望

8.1 本文研究内容及主要工作

8.1.1 主要研究内容

8.1.2 主要工作

8.2 后续工作

8.3 表情识别的进一步研究方向

致谢

参考文献

博士期间论文发表情况

发布时间: 2007-06-11

参考文献

• [1].基于稀疏子空间分析的人脸表情识别算法研究[D]. 王占.北京交通大学2017
• [2].基于深度学习的人脸表情识别方法研究[D]. 杨雨浓.西北大学2017
• [3].人脸表情识别研究[D]. 刘伟锋.中国科学技术大学2007
• [4].基于机器学习方法的人脸表情识别研究[D]. Ongalo Phoebe Nasimiyu Fedha.中南大学2014
• [5].人脸表情识别新算法研究[D]. 岳雷.北京理工大学2015
• [6].三维人脸表情识别中特征提取算法研究[D]. 李小利.北京交通大学2016
• [7].人脸表情识别算法分析与研究[D]. 周书仁.中南大学2009
• [8].基于粗糙集理论的表情识别研究[D]. 杨勇.西南交通大学2009
• [9].基于肌肉运动的人脸表情识别[D]. 刘建征.天津大学2012
• [10].基于流形学习的人脸表情识别算法研究[D]. 李薇.北京交通大学2015

标签：情感计算论文;  自动人脸表情识别论文;  人脸检测论文;  梯度模板论文;  面部特征配准论文;  主动形状模型论文;  主成分分析论文;  离散小波变换论文;  离散余弦变换论文;  拉直论文;  方法论文;  局部二元模式论文;  独立分量分析论文;