基于字词联合解码的中文分词研究

论文摘要

中文分词在中文信息处理中起着举足轻重的作用,分词的精度直接影响到后而一系列自然语言处理任务的正确性。近年来,中文分词的发展虽然已取得了骄人的成绩,但由于汉语语言自身的特点,仍存在一系列的难题,很多分词系统往往在个别领域切分的较为理想,而在另外一个领域却表现出不尽人意,因此,跨领域分词也被引入到了SIGHAN Bakeoff 2010评测任务中。本文在已有的研究基础上,提出了一种新的基于字和词的条件随机场（CRFs）的联合解码模型,把二者结合在一个统一的中文分词框架下,基于字标注的条件随机场CRFs分词,选择的是一条全局最优的路径做分词结果：在全局最优的路径里,某个局部却不一定是最优的,因此,我们把局部最优结果放到统一的模型框架下,再进行二次选择组合最优的结果,通过利用词图能够充分融合词层面的信息、的特点,使两种方法有效地结合起来。针对跨领域未登录词的特点,提出了一种称为上下文变量（Context Variables）的数据来衡量某个候选词在篇章内的上下文信息；同时,使用语义资源,利用同义词的上下文语境相似的特点,用其同义词的节点代价作为自己的代价,提高了未登录词的召回率。该方法在SIGHAN Bakeoff 2010的中文简体语料上进行了测试,在四个不同领域中,除了文学领域外,F-值均高于相应相应测试的最好成绩,并且,OOV的召回率分别达到了70.7%、84.3%、79.0%和86.2%。实验结果证明,这种方法不仅结合了基于字标注和基于词标注两种方法的优势,而且能将二者的优势影响扩大,进一步地提高了未登录的识别效果。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 研究背景与意义
• 1.2 中文分词技术的难点
• 1.2.1 分词规范的不确定性
• 1.2.2 未登录词识别问题
• 1.2.3 歧义切分问题
• 1.2.4 跨领域的中文分词
• 1.3 中文分词主要研究方法
• 1.4 研究现状
• 1.5 本文主要的工作
• 2 理论基础及统计语言模型
• 2.1 统计自然语言处理
• 2.2 隐马尔科夫模型（HMM）
• 2.2.1 隐马尔科夫原理
• 2.2.2 隐马尔科夫模型在中文分词中的应用
• 2.2.3 隐马尔科夫模型的局限性
• 2.3 最大熵
• 2.3.1 最大熵理论
• 2.3.2 最大熵原理
• 2.4 条件随机场模型
• 2.4.1 无向图模型
• 2.4.2 条件随机场的无向图结构及其势函数表示
• 2.4.3 CRFs的最大似然估计
• 3 基于CRFs的中文分词
• 3.1 基于字标注的CRFs中文分词
• 3.1.1 标注方法
• 3.1.2 特征抽取
• 3.2 基于词图的CRFs中文分词
• 3.2.1 词图在中文分词中的应用
• 3.2.2 特征的选择
• 3.2.3 解码方法
• 3.3 使用CRFs进行中文分词的流程
• 4 联合字词解码的中文跨领域分词
• 4.1 联合字词解码的分词算法
• 4.2 长度偏置
• 4.3 上下文变量
• 4.4 利用语义相似信息提高未登录词的识别率
• 4.5 基于字词联合解码的中文跨领域分词流程
• 5 实验结果与分析
• 5.1 实验数据说明和评价标准
• 5.2 跨领域分词实验结果
• 5.2.1 长度偏置对分词结果的影响
• 5.2.2 实验结果
• 5.2.3 与Sighan Bakeoff 2010成果对比
• 5.2.4 实验结果分析
• 5.3 基于字的CRFs与字词联合解码的结果的比较
• 5.4 方法讨论
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢