依存句法分析统计模型及树库转化研究

论文摘要

句法分析的任务是根据给定的语法,自动推导出句子的语法结构。句法分析性能的提高将对信息检索、信息抽取以及机器翻译等应用产生重要的推动作用。在句法分析的研究中,依存语法以其形式简洁、易于标注、便于应用等优点,逐渐受到研究人员的重视。本文比较全面地研究了依存句法分析中的几项关键技术,包括统计模型、搜索算法、树库建设等。为了深入的理解各种模型、算法在实际中的应用效果,本文选择了三个具有代表性的方法,分别为马金山面向中文的依存分析算法,Nivre的基于转移的依存分析器MaltParser以及McDonald的基于图的依存分析器MSTParser,进行了深入的研究,并且通过实验进行比较。结果表明,MaltParser和MSTParser在中文上取得了不错的效果,但是马金山的算法在效率上占有优势,可以满足实际应用的需要。作者参加了CoNLL 2008依存分析和语义角色标注联合评测任务,取得了比较好的成绩。依存分析系统分为两个步骤。首先,本文基于MSTParser,经过仔细的特征选择和参数优化,建立了依存分析器。为了克服全局寻优的依存分析方法无法融合全局特征的缺点,本文使用了依存关系校正器对依存分析器的处理结果进行后处理。本文尝试使用基于规则与统计相结合的方法,将PennCT转化为HIT-IR-CDT的体系结构。本文将转化后的树库PennCDT加入到HIT-IR-CDT,训练并测试依存句法分析器。通过对实验结果仔细分析,本文认为这种基于规则与统计相结合的树库转化方法是有效的。但是由于PennCT和HIT-IR-CDT在标注体系上存在较大的差异,还需要继续深入研究。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景
• 1.2 依存句法分析的研究现状
• 1.2.1 英语依存分析
• 1.2.2 汉语依存分析
• 1.2.3 多语依存分析
• 1.3 本文的主要研究内容
• 第2章 依存句法分析方法理论及实验对比
• 2.1 句法分析的统计模型
• 2.1.1 基于生成模型的统计方法
• 2.1.2 基于判别模型的统计方法
• 2.1.3 基于无指导的统计方法
• 2.2 句法分析的搜索算法
• 2.2.1 基于全局寻优的搜索算法
• 2.2.2 基于局部最优的搜索算法
• 2.3 依存分析评价方法
• 2.4 实验比较
• 2.4.1 面向中文的确定性依存分析方法
• 2.4.2 基于转移的依存分析方法
• 2.4.3 基于图的依存分析方法
• 2.4.4 实验结果
• 2.5 本章小结
• 第3章 HIT-IR-DP 依存句法分析系统
• 3.1 引言
• 3.2 系统设计
• 3.2.1 依存分析器
• 3.2.2 依存关系校正器
• 3.2.3 其他工作
• 3.3 评测结果
• 3.4 本章小结
• 第4章 短语结构树库向依存结构树库转化研究
• 4.1 相关工作
• 4.2 树库情况
• 4.3 树库转化过程
• 4.3.1 词性标注集转化
• 4.3.2 短语结构转依存结构
• 4.3.3 依存关系标注
• 4.4 转化后树库的利用
• 4.5 本章小结
• 结论
• 参考文献
• 附录
• 攻读学位期间发表的学术论文
• 致谢
• 个人简历