基于语素的汉语词法分析方法研究

论文摘要

作为中文信息处理的关键问题之一,汉语词法分析主要包括分词、词性标注和词义消歧三个子任务。虽然近年来汉语词法分析取得很大进展,但处理大规模开放文本时依然面临巨大的挑战,尤其是未登录词问题。因此,如何有效发掘和表示词法特征并解决未登录词识别和预测问题是目前汉语词法分析研究所面临的一个主要困难,同时也是一个研究热点。本文以大规模语料库为基础,在机器学习框架下,融合词语内部和上下文特征,研究基于语素的汉语词法分析方法,重点解决汉语未登录词识别及其词性和词义预测问题。具体地,本文从以下三个方面展开研究：首先,本文以语素为基本构词单位,利用条件随机场模型进行汉语分词研究,重点探索了不同标记集和不同窗口大小对基于语素的汉语分词模型分词性能的影响。在SIGHAN Bakeoff 2005数据上的实验结果表明,语素的引入有利于未登录词识别性能的提高。其次,针对汉语词性标注中存在的未登录词词性预测问题,本文以语素为基础,发掘并融合词语内部的词法特征,实现了一个基于最大熵模型的汉语词性标注系统,并重点分析了影响汉语未登录词词性预测性能的各种因素。在SIGHAN Bakeoff 2007词性标注数据上的实验表明,基于语素的汉语词性标注方法在未登录词词性预测方面具有较大优势。最后,本文提出一种基于中心语素的朴素贝叶斯模型,并在该模型下进行汉语未登录词的词义预测研究。初步的实验证明,基于中心语素的朴素贝叶斯模型可以在一定程度上解决汉语未登录词的词义预测问题。

论文目录

• 中文摘要
• Abstract
• 第1章 绪论
• 1.1 研究的目的和意义
• 1.2 汉语词法分析方法综述
• 1.3 汉语词法分析存在的主要问题
• 1.4 本文研究的主要内容
• 1.5 本文的组织安排
• 第2章 基于语素的汉语分词
• 2.1 引言
• 2.2 汉语分词问题描述
• 2.2.1 分词的语块标记
• 2.3 基于语素的汉语分词方法
• 2.3.1 语素的抽取
• 2.3.2 条件随机场模型
• 2.4 特征模板
• 2.5 实验结果与分析
• 2.5.1 实验数据与评测指标
• 2.5.2 不同的标记集对汉语分词性能的影响
• 2.5.3 不同类型的构词单位对汉语分词性能的影响
• 2.6 本章小结
• 第3章 基于语素的汉语词性标注
• 3.1 引言
• 3.2 汉语词性标注问题描述
• 3.3 基于语素的汉语词性标注方法
• 3.4 特征选择与表示
• 3.4.1 特征的表示形式
• 3.4.2 外部特征选择
• 3.4.3 内部特征选择
• 3.5 实验结果与分析
• 3.5.1 实验数据与评测指标
• 3.5.2 内部特征和外部特征汉语词性标注性能的对比实验
• 3.5.3 不同内部特征复合对汉语词性标注性能的影响
• 3.5.4 内部特征和外部特征复合对汉语词性标注性能的影响
• 3.6 本章小结
• 第4章 基于语素的汉语词义标注
• 4.1 引言
• 4.2 汉语词义标注问题描述
• 4.3 基于语素的汉语词义标注方法
• 4.3.1 朴素贝叶斯模型
• 4.3.2 基于语素的朴素贝叶斯模型
• 4.4 词义标注特征
• 4.4.1 汉语未登录词的分布特点
• 4.4.2 词法特征
• 4.4.3 中心语素
• 4.5 实验结果与分析
• 4.5.1 实验数据与评测指标
• 4.5.2 基于词法特征的汉语词义标注性能实验
• 4.5.3 基于中心语素的汉语词义标注性能实验
• 4.5.4 不同特征对未登录词词义预测性能的影响
• 4.6 本章小结
• 第5章 结论
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文