论文题目: 最大熵方法及其在自然语言处理中的应用
论文类型: 博士论文
论文专业: 计算机软件
作者: 周雅倩
导师: 吴立德
关键词: 最大熵方法,最大熵模型,自然语言处理,特征选择,特征匹配
文献来源: 复旦大学
发表年度: 2005
论文摘要: 近年来,计算机技术得到了飞速的发展,机器的存储量越来越大,运算速度越来越快,而价格却越来越便宜,这样的客观条件推动了基于语料库的统计自然语言处理方法成为目前自然语言处理研究领域的一个热点。最大熵方法是一种基于统计的机器学习方法,近10年来,成功应用于自然语言处理的许多领域,并且都接近或达到最佳水平。 所谓最大熵方法就是遵循最大熵原则建模,也就是选择这样的一个统计概率模型:在满足约束的模型中选择熵最大的那个。最大熵方法的优点在于它有简单的哲学原理以及数学推理作为基础,在最大熵模型这个统一的框架下,非常方便的使用多种特征,而且特征之间没有独立性假设,模型表达能力强。它的缺点是训练速度非常慢,耗资源。 在这篇论文中,我们首先介绍最大熵方法的基本原理,数学推导和基本算法。然后分别从训练和执行两个方面提出快速方法:选择性增益计算方法和稀疏特征树方法。选择性增益计算是一种快速的特征选择方法,它能使特征选择的速度提高2到3个数量级。稀疏特征树是一种高效的特征集合表示方法,基于稀疏特征树的特征匹配算法的时间复杂度与特征个数的对数成正比。最后介绍我们实现的最大熵通用工具包,以及把最大熵方法用于自然语言处理的一些实践。
论文目录:
第1章 引言
1.1 自然语言处理现状
1.1.1 统计自然语言处理
1.2 最大熵方法的历史与现状
1.2.1 最大熵方法的历史
1.2.2 主要研究方向和进展
1.2.3 最大熵方法在自然语言处理中的应用
1.3 论文组织
第2章 最大熵方法
2.1 最大熵方法概述
2.1.1 一个例子
2.1.2 条件最大熵模型
2.1.3 模型框架
2.1.4 特征
2.1.5 最大熵原则的数学表示
2.1.6 参数形式
2.1.7 最大似然估计(MLE)
2.2 模型选择
2.2.1 GIS算法
2.2.2 IIS算法
2.2.3 SCGIS算法
2.3 特征选择
2.3.1 基于频数阈值的特征选择
2.3.2 增量式特征选择
2.3.2.1 IFS算法
2.3.2.2 选择性增益计算(SGC)算法
2.4 本章小结
第3章 快速特征选择方法
3.1 特征选择简介
3.2 增量式特征选择
3.2.1 IFS算法
3.3 选择性增益计算的特征选择
3.3.1 假设
3.3.2 实验观察
3.3.3 SGC算法描述
3.3.4 初始增益的计算
3.3.5 LA-SGC算法
3.4 实验
3.5 SGC算法和频数阈值方法的组合
3.6 本章小结
申明
第4章 高效特征匹配方法
4.1 条件最大熵执行系统
4.2 特征的表示
4.3 特征匹配
4.4 特征树
4.4.1 特征树的生成
4.4.2 特征树的查找
4.5 稀疏特征树
4.5.1 稀疏特征树的生成
4.5.2 稀疏特征树的查找
4.6 实验分析
4.6.1 特征匹配时间分析
4.6.2 比较特征匹配时间
4.6.3 特征树生成的时空复杂性分析
4.7 比较与讨论
第5章 应用
5.1 通用最大熵工具
5.1.1 训练样例的表示
5.1.2 训练系统选项
5.1.3 执行系统
5.2 基于最大熵方法的自然语言处理工具
5.2.1 英文断句
5.2.2 英文词性标注
5.2.3 基本短语识别
5.2.3.1 中文基本短语识别
5.2.3.2 英文基本短语识别
5.3 指代消解
5.3.1 属性计算
5.3.2 训练与执行
5.3.3 实验结果
5.4 QA系统置信度评分算法
5.5 本章小结
第6章 总结与展望
6.1 总结
6.2 展望
参考文献：
攻读博士期间主要工作
致谢
论文独创性声明
论文使用授权声’明
发布时间: 2005-09-19
参考文献
- [1].基于词联接的自然语言处理技术及其应用研究[D]. 李良炎.重庆大学2004
- [2].计算机辅助诗词创作中的风格辨析及联语应对研究[D]. 易勇.重庆大学2005
- [3].基于场景化知识表示的自然语言处理及其在自动文本校对中的应用[D]. 王燚.西南交通大学2005
- [4].汉语指代消解及相关技术研究[D]. 王智强.北京邮电大学2006
- [5].汉英双语语料库自动对齐研究[D]. 王斌.中国科学院研究生院（计算技术研究所）1999
- [6].自然语言处理中词相关性知识无导获取和均衡分类器构建[D]. 鲁松.中国科学院研究生院（计算技术研究所）2001
- [7].基于自然语言处理的空间概念建模研究[D]. 李晗静.哈尔滨工业大学2007
- [8].基于分布表示的跨语言跨任务自然语言分析[D]. 郭江.哈尔滨工业大学2017
- [9].高适应性基于实例的机器翻译中关键技术研究[D]. 任飞亮.东北大学2008
- [10].基于深度学习的文本向量化研究与应用[D]. 于政.华东师范大学2016
相关论文
- [1].基于模式知识库的问题回答关键技术研究[D]. 杜永萍.复旦大学2005