基于参数修改的中文歌声合成算法的研究

论文摘要

语音合成技术是人机交互领域的一个重要研究内容,而作为语音合成分支的歌声合成近年来也成为了研究热点。为了实现中文歌声的合成,本文将文语转换(Text To Speech, TTS)技术与语音修改技术相结合,分析对比了语音和歌声的语音差异,建立了旋律控制模型和高斯频谱模型,实现了一个音色可变的中文歌词到歌曲的转换系统。论文的研究结果对于揭示语音与歌声之间的内在差异、实现歌声的合成具有重要的理论意义。论文实现的系统可以应用于娱乐场所和音乐创作领域,能够提高音乐合成的娱乐性和趣味性。论文的主要创新和工作如下:1.对比分析了语音和歌声在声学特征方面的差异。语音和歌声都是由相同的发音器官产生,但在感知上差异很大。论文通过大量实验分析了二者的差异所在。语音注重传递内容,歌声注重传递情感。歌声的谐波比语音丰富,许多高次谐波仍然具有较高能量,且基频和各次谐波的走势是近似平稳的,它们的走势与语音的音调相关。2.建立了一种歌声的旋律控制模型。根据语音和歌声在基频上的差异,主要针对颤音建立了基频修改模型,并通过旋律控制模型对语音信号的声学特征进行修改,实现歌词到歌声的转换。MOS评测结果表明,音色转换前的合成歌曲的平均MOS得分在3.29以上。3.提出了一种基于高斯混合模型(Gaussian Mixture Model, GMM)的歌声频谱建模方法。利用GMM进行STRAIGHT谱的建模,从而实现合成歌声的音色转换。ABX测试结果表明,混合比例因子k=0或1时,正确率均为100%,0<k<1时,正确率高于62.5%,表明可按比例加入专业歌手的音色特征;实验结果也显示,高斯均值对音色影响较大,而比例权重和协方差对其影响较小。4.建立了一个基于STRAIGHT算法的歌声合成系统。该系统由文本分析模块、拼接合成模块、旋律控制模块、音色控制模块组成。对输入的歌词文本,通过文本分析获得其读音信息,进而由拼接合成模型合成得到语音。然后通过旋律控制模块将语音转换为歌声,并利用音色控制模块实现音色的转换。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.2 歌声合成的研究现状
• 1.3 歌声合成的研究意义
• 1.4 论文主要研究工作
• 1.5 论文结构安排
• 第2章 歌声合成相关知识介绍
• 2.1 乐理基础及MIDI 介绍
• 2.1.1 乐理基础
• 2.1.2 MIDI 介绍
• 2.2 语音合成相关技术
• 2.2.1 语音产生的声学模型
• 2.2.2 语音合成的原理
• 2.2.3 文语转换系统
• 2.2.4 语音合成方法
• 2.2.5 语音合成技术展望
• 2.3 本章小结
• 第3章 歌声信号特征分析
• 3.1 语音信号分析方法
• 3.2 语音与歌声的特征对比分析
• 3.3 本章小结
• 第4章 旋律控制模型
• 4.1 韵律特征
• 4.2 韵律转换
• 4.2.1 时长转换模型
• 4.2.2 基频转换模型
• 4.3 实验及讨论
• 4.4 本章小结
• 第5章 基于GMM的频谱建模
• 5.1 音色变换技术
• 5.2 频谱建模
• 5.2.1 高斯混合模型
• 5.2.2 频谱特征
• 5.2.3 频谱模型
• 5.3 实验及讨论
• 5.4 本章小结
• 第6章 基于STRAIGHT算法的歌声合成系统
• 6.1 语音转换合成算法
• 6.1.1 PSOLA 算法
• 6.1.2 STRAIGHT 算法
• 6.2 系统框架
• 6.3 本章小结
• 第7章 总结与展望
• 7.1 论文工作总结
• 7.2 工作展望
• 参考文献
• 攻读硕士学位期间的科研成果
• 致谢