基于语义及案例推理的人脸表情识别方法研究

论文摘要

人脸表情蕴含着非常丰富的信息，在人际交流、人机交互中起着非常重要的作用。人脸表情识别技术的研究将促进和谐人机环境的发展，对模式识别、人工智能等学科的发展有着重要的意义。近年来，已成为模式识别和机器视觉领域的一个研究热点。本文主要工作和创新点如下：（1）介绍了课题的研究背景及意义、人脸表情识别技术的相关应用，分析了当前人脸表情识别技术的难点，并对人脸表情识别方法研究现状进行了综述。（2）介绍了人脸表情数据库，以及当前人脸表情图像预处理的步骤，包括人脸图像的检测与定位、人脸图像的姿态校正、人脸图像的滤波及人脸图像的几何归一化与灰度归一化。（3）针对现有人脸表情特征点提取方法的不足，提出了两种特征点定位方法：改进的DVF（距离向量场，Distance Vector Fields）和WVC（加权向量集中，Weighted Vector Concentration）。通过欧氏距离及限定距离大小改进DVF算法，并基于改进的DVF算法定位眉毛、眼睛及嘴巴的区域，然后定位人脸表情特征点。基于DVF算法的人脸特征点定位方法具有定位精度高，但易受遮挡影响，提出了基于VC（向量集中，Vector Concentration）的WVC方法，以此改善特征点提取质量。WVC可以克服遮挡的影响，但精度比改进的DVF低。因此，本文综合两者的优点，提高了人脸表情特征点的定位精度。同时，为提取皱纹纹理信息，对LBP（局部二元模式，Local Binary Pattern）算法进行了研究。（4）提出了基于语义及案例推理的人脸表情识别方法。首先利用改进的DVF和WVC提取人脸表情特征点信息，用LBP提取人脸表情皱纹纹理信息;基于语义AHP（层次分析法，Analytic Hierarchy Process）方法，将两种特征信息参数化，转化为语义特征向量，作为一个整体特征，并用案例表示；建立人脸表情的案例库；基于K-NN建立三个置信度估计器并结合GA（遗传算法，GeneticAlgorithm），计算语义向量权重；建立CBR（基于案例推理，Case-Based Reasoning）人脸表情分类器，完成表情分类。（5）在JAFFE及Cohn-Kanade数据库中进行特征点及皱纹纹理特征提取实验，人脸特征点定位和跟踪上获得了比较好的实验结果；在Cohn-Kanade数据库中做人脸表情分类实验，达到了95.07%的识别率。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题的研究背景及意义
• 1.2 人脸表情识别技术应用
• 1.3 人脸表情识别技术难点
• 1.4 人脸表情识别方法概述
• 1.4.1 人脸表情识别方法研究现状
• 1.4.2 人脸表情图像预处理
• 1.4.3 人脸表情特征提取
• 1.4.4 人脸表情特征分类识别
• 1.5 主要研究内容与章节安排
• 1.5.1 主要研究内容
• 1.5.2 章节安排
• 第二章 人脸表情图像预处理方法
• 2.1 概述
• 2.2 人脸表情数据库
• 2.2.1 Cohn-Kanade 人脸表情数据库
• 2.2.2 JAFFE 人脸表情数据库
• 2.3 人脸表情图像检测与定位
• 2.4 人脸表情图像的姿态校正
• 2.5 人脸表情图像滤波
• 2.6 人脸表情图像几何归一化
• 2.7 人脸表情图像灰度归一化
• 2.8 本章小结
• 第三章 人脸表情特征提取方法
• 3.1 概述
• 3.2 基于 DVF 的人脸表情特征点提取方法
• 3.2.1 DVF 基本原理
• 3.2.2 眼睛眉毛区域检测
• 3.2.3 眼睛区域检测
• 3.2.4 嘴巴区域检测
• 3.2.5 眼睛中心定位
• 3.2.6 眉毛外内角及眉心的确定
• 3.2.7 眼睛左右眼角，上下眼睑位置的确定
• 3.2.8 上下嘴唇中心及左右嘴角位置确定
• 3.3 基于 WVC 定位特征点方法
• 3.3.1 WVC 方法流程
• 3.3.2 学习扩展模板码表
• 3.3.3 特征点定位
• 3.4 基于 LBP 提取纹理特征
• 3.4.1 LBP 基本原理
• 3.4.2 LBP 特征提取
• 3.6 本章小结
• 第四章 基于语义及案例推理的人脸表情识别方法
• 4.1 概述
• 4.2 CBR 简介
• 4.2.1 基本的 CBR 形式
• 4.2.2 CBR 的特点
• 4.3 低层特征提取方法
• 4.3.1 特征点特征提取方法
• 4.3.2 皱纹纹理特征提取方法
• 4.4 AHP 语义结构与低层映射
• 4.4.1 AHP 语义结构
• 4.4.2 眉毛、眼睛、嘴唇特征点向语义特征的映射
• 4.4.3 皱纹纹理特征向语义特征的映射
• 4.5 语义特征 CBR 循环
• 4.5.1 语义特征案例结构
• 4.5.2 案例获取
• 4.5.3 相似案例重检
• 4.5.4 案例修订
• 4.5.5 案例保留
• 4.6 人脸表情实验及分析
• 4.6.1 特征点定位实验及分析
• 4.6.2 表情分类识别实验及结果分析
• 4.7 本章小结
• 总结与展望
• 参考文献
• 致谢
• 个人简介