基于短语模板的机器翻译研究

论文摘要

泛化的EBMT（Example-based machine translation）是针对传统EBMT的一种改进方案,它利用翻译模板取代翻译实例,这样既减小了实例库的规模,同时也在一定程度上提高了模板匹配的几率,是一种有效的机器翻译方法。本文在泛化的EBMT的基础上,采用基于短语模板的方法,展开进一步的研究工作:在泛化EBMT中引入句法分析技术,将句子抽取成短语模板和主干模板,构建双层翻译模板库,同时提出一种句子相似度模型的训练方法。其主要过程如下:在模板的抽取阶段,利用句法分析器对双语平行语料中的源语言句子进行句法分析,将分析结果中的短语部分抽取出来,留下句子的主干部分;然后根据词语对齐关系把目标语言的句子也分为对应的主干和短语部分,从而得到短语平行语料库和主干平行语料库;最后利用语义词典对两个平行语料库分别进行概念的抽取,得到短语模板和主干模板,进而构建翻译模板库。在翻译测试阶段,利用句子相似度算法在模板库中搜索与输入句匹配的模板,然后采用主干模板和短语模板结合的方式进行翻译:利用主干模板翻译输入句的主干部分,利用短语模板翻译输入句中复杂的名词短语,最后得到译文。翻译中使用的语句相似度算法是基于字符序列的相似度算法,选取词语相似度和句子长度差作为特征函数,并利用NIST工具对其进行训练,得到优化的参数组合。实验选取一组双语平行语料构建翻译模板库,并分别作了闭式和开式的翻译测试。实验结果表明,与泛化的EBMT方法相比,基于短语模板的EBMT方法可以减少模板库的规模,提高模板的翻译能力:其开式测试正确率为77.0%,高于泛化的EBMT的正确率51.5%。本文的研究可以应用于实际的机器翻译系统中。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 机器翻译简介
• 1.1.1 基于规则的方法
• 1.1.2 基于统计的方法
• 1.1.3 基于实例的方法
• 1.1.4 其它机器翻译方法
• 1.2 泛化的EBMT
• 1.2.1 研究现状
• 1.2.2 本实验室的工作
• 1.2.3 泛化EBMT存在的问题
• 1.3 本文的主要工作
• 2 句法分析技术
• 2.1 几种常用的句法分析模型
• 2.1.1 概率型上下文无关模型
• 2.1.2 基于历史的句法分析模型
• 2.1.3 分层渐近式句法分析模型
• 2.1.4 头驱动的统计句法分析模型
• 2.2 汉语句法结构特点
• 2.3 句法分析系统评测
• 2.4 句法分析技术的应用
• 3 模板的定义和抽取
• 3.1 模板的定义
• 3.2 模板的抽取
• 3.2.1 短语的抽取
• 3.2.2 模板的生成
• 4 模板的匹配
• 4.1 词语相似度计算
• 4.2 句子相似度计算
• 4.2.1 几种相似度的算法
• 4.2.2 本文的改进工作
• 4.2.3 参数的优化
• 4.3 主干模板的匹配
• 4.4 短语模板的匹配
• 5 译文的生成
• 5.1 模板差异计算
• 5.2 译文生成算法
• 6 实验结果与分析
• 6.1 相似度算法参数训练
• 6.1.1 实验数据及评价参数
• 6.1.2 参数训练过程
• 6.1.3 实验结果与分析
• 6.2 EBMT翻译实验
• 6.2.1 实验数据及评价参数
• 6.2.2 模板训练
• 6.2.3 翻译测试
• 6.2.4 实验结果
• 6.2.5 实验分析
• 结论
• 参考文献
• 攻读硕士学位期间发表学术论文情况
• 致谢