中文语音识别结果文本分类的研究与实现

论文摘要

语音识别技术的研究始于二十世纪五十年代,经过五十多年的发展,语音识别理论日趋成熟。90年代,随着多媒体时代的来临,语音识别技术进一步成熟,语音识别系统从实验室走向实用。语音识别技术可以运用到语音通信系统、声控电话交换、数据查询、订票系统、宾馆医疗服务、银行服务、计算机控制、工业控制等领域。要想实现这些可能,将语音信号识别出来的文本信息进行分类的工作是必不可缺的。本文从中文语音识别系统的应用出发,在传统的中文文本分类系统框架基础上,实现了基于改进的SVM、KNN和朴素贝叶斯分类算法的中文语音识别文本分类系统,并将语音识别结果文本库分为10个类,1200多个样本,对所构建的系统进行了实验分析。该系统针对语音识别文本已经使用词汇为单位的特点,简化了文本分类的预处理过程,去掉了传统中文文本分类过程中的分词处理。分类构造算法方面,重点研究了支持向量机,比较了SVM的核函数对分类效果的影响,得出径向基核函数具有最好的表现。针对文本库中的样本有混叠和在10个类别中分布不均的情况,偏移支持向量机的分类超平面并且自动优化参数,为正负类样本加权,平衡正负类样本的错分率,提高了支持向量机的推广能力和分类性能。通过实验,分析和比较了不同的特征选择算法。以信息增益(IG)方法进行特征选择能获得最高的查准率、查全率;而采用互信息(MI)方法得到的分类结果非常不理想。还进一步分析比较了三种不同的分类算法,改进的SVM在本分类系统的优势非常明显,而且达到了很高的分类准确率,达到了用做研究平台的要求。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景及意义
• 1.2 文本分类的定义及主要技术
• 1.3 本文的研究工作
• 2 理论基础和相关技术
• 2.1 中文文本分类的一般过程
• 2.2 中文分词技术
• 2.3 特征处理和特征表示技术
• 2.3.1 特征选择
• 2.3.2 特征提取
• 2.3.3 特征加权
• 2.3.4 特征表示
• 2.4 分类构造算法
• 2.4.1 决策树
• 2.4.2 SVM（支持向量机）
• 2.4.3 贝叶斯分类
• 2.4.4 KNN（K-近邻算法）
• 2.4.5 神经网络算法
• 3 语音识别文本分类系统架构设计
• 3.1 系统设计目标
• 3.2 系统设计思想
• 3.3 语音识别文本分类系统总体设计
• 4 功能模块的设计和实现
• 4.1 系统分词
• 4.1.1 一般中文语音识别系统结构
• 4.1.2 分词处理优化
• 4.2 去停用词处理
• 4.3 文本的特征选择
• 4.3.1 信息增益（IG）
• 4.3.2 互信息量（MI）
• 2统计量（CHI）'>4.3.3 x²统计量（CHI）
• 4.3.4 期望交叉熵（ECE）
• 4.3.5 文本证据权重（WET）
• 4.3.6 特征选择算法的实现
• 4.4 文本表示——向量空间模型（VSM）
• 5 分类器构造算法的设计与实现
• 5.1 统计学习理论和支持向量机
• 5.1.1 统计学习理论
• 5.1.2 支持向量机
• 5.1.3 SVM的多类分类
• 5.2 SVM分类器的改进与实现
• 5.2.1 算法改进
• 5.2.2 参数优化
• 5.2.3 改进的SVM分类器参数设置界面
• 5.3 朴素贝叶斯分类
• 5.4 KNN分类
• 6 实验结果及分析
• 6.1 系统界面与实验样本集
• 6.2 评估指标及标准
• 6.3 改进的SVM分类结果及分析
• 6.4 几种分类方法的比较研究
• 结论
• 参考文献
• 附录A 分类系统各模块部分代码
• 攻读硕士学位期间发表学术论文情况
• 致谢