话者识别中失配信息补偿理论和方法研究

论文摘要

在文本无关的话者识别中,尤其以NIST话者测评为代表的复杂环境下电话手机语音的话者识别,训练语音与测试语音的失配是导致识别系统性能下降的重要因素。这种失配包含语音类失配和外部干扰失配两种:包括训练和测试文本内容不同的影响,周围环境噪声的影响,语音信号采集设备（话筒）的影响,传输调制信道的影响等。除此之外,还有说话人自身因素的影响,情绪变化等。如何对这些失配信息进行准确而有效的补偿是当前话者识别研究领域的热点问题。论文针对复杂环境下电话手机语音识别系统的失配问题,围绕如何解决当前失配方法的不足,更加有效的对上述两种失配进行补偿,如何提高训练和测试失配补偿的速度,如何将失配补偿与区分性系统结合起来等方面进行了深入的研究。论文首先深入分析了现有的一些失配补偿方法的思路和算法实现细节。针对语音类失配问题,从训练和测试两个角度详细分析了在GMM-UBM框架下UBM模型在话者模型训练和评分测试中所起到的重要的基准作用,以及通过测验语音与目标话者模型和UBM模型的评分相减来解决语音类失配的问题。针对外部影响失配问题,详细介绍了现有的一些基于特征域、模型域、评分域的失配补偿方法,并分析了这些失配补偿方法的不足之处,主要体现在需要信道分类器对语音进行信道判决,只能针对孤立的信道类别进行补偿,以及信道分类器判决可能出现误判,训练信道分类器也需要相应的信道标记的语音。这都限制了当前已有的一些失配补偿方法的效果。论文针对语音类和外部干扰两类失配问题和现有失配补偿方法存在的不足之处,将因子分析方法用于估计说话人确认中训练和测试受到的失配影响,详细分析了在基于因子分析的失配补偿方法中,如何构建失配信息空间和话者信息空间,并通过这两个信息空间估计语音所受到的失配影响大小（对应为失配因子）,其失配补偿是按照实际的失配影响大小而不是通道类别进行补偿,无需利用信道模型判决语音的信道种类,避免信道种类判决错误的影响。故其连续相对的补偿效果要优于传统的失配补偿方法。在NIST SRE 2008测评中我们将本方法应用于长语音任务中,在50多家国际参赛机构中排名第一。论文还利用话者信息空间解决短语音利用MAP方法据估计话者模型的不足问题,实验结果效果明显,相对提高17%左右。为了提高语音在失配补偿时的速度,论文提出了一种基于CUBM选择模型和因子分析的快速失配补偿方法。CUBM由UBM高斯分量通过KL距离准则和自底向上的分层聚类得到的高斯混合模型。在失配补偿时,利用CUBM选择模型为每帧语音特征矢量选择一组相应的UBM高斯分量,只用这些高斯分量计算相应的EM统计量,可以显著降低失配补偿的计算量。论文还提出了一种基于Top-N的选择策略,以提高UBM高斯分量的选择精度,平衡系统性能和失配补偿计算量之间的矛盾。在NIST SRE 2006主任务上的实验表明,基于CUBM选择模型的快速失配补偿方法在取得和原始失配补偿方法相近的系统性能的同时,计算量降为原来的八分之一左右,解决了失配补偿方法应用中的计算量问题。论文提出将失配补偿和SVM区分性话者识别系统结合起来的一种方法。当SVM输入是GMM均值超矢量时,SVM的训练样本（目标和冒认话者的GMM均值超矢量）在模型域进行补偿,测试时,测试语音也同样提取相应的GMM均值超矢量,在模型域补偿后与SVM话者模型测试。在NIST SRE 2008核心任务的实验表明,失配补偿后的SVM系统性能比补偿后的GMM系统性能有7%左右的提高,比补偿前的SVM系统性能相对提高24%。实验结果充分说明了失配补偿方法对区分性话者识别系统性能提升的重要意义。论文的研究工作得到了国家留学基金委2009年度国家公派高水平研究生项目（No.2009634072）和中国科学技术大学研究生创新基金（No.KD2008056）的资助。

论文目录

• 摘要
• ABSTRACT
• 表格
• 插图
• 第一章 绪论
• 1.1 话者识别概述
• 1.1.1 话者识别发展介绍
• 1.1.2 话者识别的分类
• 1.2 文本无关话者确认系统
• 1.2.1 文本无关话者确认系统
• 1.2.2 话者确认系统的评测标准
• 1.3 话者识别中的失配补偿问题
• 1.3.1 语音类失配
• 1.3.2 外部干扰失配
• 1.4 论文主要内容与安排
• 第二章 话者确认中失配补偿基本方法与思想
• 2.1 引言
• 2.2 话者识别系统中的UBM
• 2.3 特征域失配补偿
• 2.3.1 倒谱均值方差规整
• 2.3.2 RASTA滤波
• 2.3.3 特征弯折
• 2.3.4 特征映射
• 2.4 模型域失配补偿
• 2.4.1 说话人模型合成
• 2.5 评分域失配补偿
• 2.5.1 零规整
• 2.5.2 测试规整
• 2.5.3 信道评分规整
• 2.6 现有失配方法对比与分析
• 2.7 本章小结
• 第三章 基于因子分析的话者确认失配补偿
• 3.1 引言
• 3.2 因子分析
• 3.3 因子分析用于话者确认失配补偿的思想
• 3.4 因子分析话者模型的估计
• 3.4.1 EM 统计量的计算
• 3.4.2 失配因子的估计
• 3.4.3 话者因子的估计
• 3.4.4 失配信息空间的估计
• 3.5 失配补偿的测试方法
• 3.6 短语音的语音类失配补偿
• 3.6.1 话者信息空间估计
• 3.6.2 MAP 与话者信息空间对比
• 3.7 实验
• 3.7.1 实验数据集
• 3.7.2 JFA 用于GMM-UBM系统
• 3.7.3 失配空间大小的影响
• 3.7.4 语音长度的影响
• 3.8 短语音语音类失配补偿实验
• 3.8.1 实验数据集
• 3.8.2 话者信息空间大小的影响
• 3.8.3 话者模型混合度大小影响
• 3.9 本章小结
• 第四章 基于CUBM的快速因子分析失配补偿
• 4.1 引言
• 4.2 因子分析失配补偿中的计算量分析
• 4.3 因子分析失配补偿快速实现的基本思想
• 4.4 基于CUBM 的快速失配补偿实现
• 4.4.1 高斯分布的KL 距离度量
• 4.4.2 UBM高斯分布的合并聚类
• 4.4.3 快速失配补偿的训练和测试
• 4.4.4 基于TOP-N的选择策略
• 4.5 实验
• 4.5.1 实验数据集
• 4.5.2 快速失配补偿的结果
• 4.5.3 TOP-N的实验结果与分析
• 4.6 本章小结
• 第五章 区分性话者模型中的失配补偿
• 5.1 引言
• 5.2 SVM话者模型
• 5.2.1 线性可分情况
• 5.2.2 线性不可分及高维映射
• 5.2.3 SVM用于话者识别
• 5.3 SVM话者模型的失配补偿
• 5.3.1 SVM训练阶段失配补偿
• 5.3.2 SVM测试失配补偿
• 5.4 实验
• 5.4.1 实验数据集
• 5.4.2 GMM-SVM与GMM系统结果对比
• 5.4.3 失配补偿后的SVM与GMM结果对比
• 5.4.4 SVM失配补偿前后结果对比
• 5.5 本章小结
• 第六章 总结与展望
• 6.1 本论文工作总结
• 6.2 进一步研究工作
• 参考文献
• 致谢
• 在读期间发表的学术论文与取得的研究成果