贝叶斯同语言模型相结合的中文文本分类方法的研究

论文摘要

随着互联网上可用信息的日益增多,怎样快速而有效地获取有用信息成为人们研究的重要课题,信息自动分类就应运而生了。贝叶斯作为其中的一种分类方法,应用在很多领域。本文将尝试探索应用语言模型改进贝叶斯分类模型的方法。首先,我们对文本分类系统以及贝叶斯分类模型作了分析和探讨。然后,分析了贝叶斯模型的数据稀疏问题,并讨论了Laplace平滑技术的缺陷,提出了用统计语言模型来改善数据稀疏问题。接下来介绍了语言模型的三种平滑技术,分别是Jelinek-Mercer平滑技术、Dirichlet平滑技术以及绝对折扣法。最终,针对Jelinek-Mercer提出一种改进的平滑技术。本文最主要的工作是将统计语言模型的四种平滑技术应用于贝叶斯分类器当中。通过实验,找到了最优的平滑参数。最后得出如下结论:使用四种平滑技术改进后的贝叶斯分类模型的性能都优于朴素贝叶斯分类模型的性能,特别是采用了改进平滑尺度的Jelinek-Mercer平滑技术后,分类器的性能得到较大改善。

论文目录

• 摘要
• ABSTRACT
• 目录
• 图表目录
• 第一章 绪论
• 1.1 课题背景
• 1.2 国内外研究现状
• 1.2.1 文本自动分类技术研究在国内外的发展
• 1.2.2 文本自动分类技术的研究现状
• 1.3 研究内容和论文结构
• 1.3.1 研究内容
• 1.3.2 论文结构
• 第二章 文本分类系统技术概述
• 2.1 文本分类的概念
• 2.2 文本分类的步骤
• 第三章 相关理论与技术
• 3.1 贝叶斯理论与贝叶斯模型
• 3.1.1 贝叶斯理论的产生、研究意义和研究现状
• 3.1.2 贝叶斯定理
• 3.1.3 朴素贝叶斯分类器
• 3.1.4 贝叶斯文本分类器的优点和缺陷
• 3.2 统计语言模型
• 3.2.1 概述
• 3.2.2 N-gram模型
• 3.2.3 语言模型中的平滑技术
• 3.2.3.1 平滑技术的含义
• 3.2.3.2 主要的平滑方法
• 第四章 应用统计语言模型改进NB分类模型的设计和实现
• 4.1 系统的开发平台与环境
• 4.2 系统框架
• 4.3 语料库和性能评价
• 4.3.1 语料库
• 4.3.2 性能评价标准
• 4.4 改进的分类器设计
• 4.4.1 模型的提出
• 4.4.2 分类器实现框图
• 第五章 实验和结果
• 5.1 改进后的分类器的参数选择
• 5.2 改进后的分类器与朴素贝叶斯的性能比较
• 第六章 总结和进一步的工作
• 6.1 论文总结
• 6.2 进一步研究工作
• 致谢
• 参考文献