日语词法分析及在跨语言信息检索中的应用研究

论文摘要

随着国际上交流与合作的不断加强,人们对跨语言信息处理的需求越来越多。日本与我国关系密切,因此对日文信息的获取和处理是非常有必要的。日文词法分析是日文信息处理的基础,在跨语言信息检索、机器翻译、信息抽取等实际应用领域都扮演着重要的角色。本文主要对日文词法分析、名实体识别以及它们在跨语言信息检索中的应用进行研究,具体的研究内容主要包括以下几个方面:1.对日文进行分词和词性标注研究。针对日文分词中的歧义切分问题,本文采用最大概率分词法,利用Ipadic词典对日文文本进行粗切分,并用动态规划算法寻找最佳分词路径。针对日文分词中的未登录词问题,提出基于字的识别方法。用HMM实现日文词性标注的训练和标注过程,并对稀疏数据进行平滑。标注过程中先对词串进行以单标记词为边界的划分,然后用Viterbi算法寻找最佳词性标记序列,降低了处理的复杂性。在EDR语料上的测试,分词F值为95.76%,词性标注F值为96.70%。2.对日文名实体识别及其后处理技术的研究。本文采用最大熵模型进行日文名实体识别研究,采用的主要特征有词形特征、词性特征、词典特征和上下文特征。针对统计方法对语料依赖性强的问题,本文提出改进的基于TBL的日文名实体识别后处理方法。该方法能针对名实体识别错误自动学习,获取转换规则,并对规则进行优化。实验证明该方法是一种有效的日文名实体识别后处理方法。3.对日英跨语言信息检索中查询翻译方法的研究。考虑到现有资源和系统效率问题,本文采用翻译查询的方法实现日英跨语言信息检索。针对基于词典的查询翻译方法存在的翻译歧义问题,本文采用双语词典与共现模型相结合的查询翻译方法。针对基于词典的翻译方法中词典覆盖度的问题,本文根据日文的特点,采用对词典中不存在的日文人名、地名以及片假名词的音译方法,显著提高了查询翻译的效果。最后,本文利用Lucene工具包构建英文检索模块,实现对英文文档索引和检索的功能。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景和意义
• 1.2 国内外研究现状与分析
• 1.2.1 日语分词及词性标注研究综述
• 1.2.2 日语名实体识别研究综述
• 1.3 本文组织结构
• 第2章 日文自动分词与词性标注
• 2.1 引言
• 2.2 日文自动分词
• 2.2.1 最大概率分词法
• 2.2.2 最佳分词路径选择算法
• 2.2.3 未登录词识别
• 2.2.4 实验结果及分析
• 2.3 日文词性标注
• 2.3.1 HMM 模型
• 2.3.2 词性标注过程
• 2.3.3 模型训练过程
• 2.3.4 数据平滑
• 2.3.5 实验结果及分析
• 2.4 本章小结
• 第3章 日文名实体识别及后处理技术
• 3.1 引言
• 3.2 最大熵模型概述
• 3.2.1 最大熵原理简介
• 3.2.2 最大熵模型简介
• 3.2.3 特征引入算法
• 3.3 采用的主要特征
• 3.4 日文名实体识别后处理技术
• 3.4.1 TBL 简介
• 3.4.2 改进的TBL 后处理技术
• 3.5 实验结果及分析
• 3.6 本章小结
• 第4章 日英跨语言信息检索
• 4.1 引言
• 4.2 日英跨语言信息检索系统的总体构架
• 4.3 基于词典及共现模型的查询翻译
• 4.3.1 基于日英双语词典的查询翻译
• 4.3.2 基于共现模型的查询翻译
• 4.4 名实体音译方法
• 4.4.1 音译表的构建
• 4.4.2 音译算法描述
• 4.5 基于Lucene 的信息检索
• 4.5.1 Lucene 工具包简介
• 4.5.2 单语检索的系统结构
• 4.6 实验结果与分析
• 4.7 本章小结
• 结论
• 参考文献
• 附录
• 攻读硕士学位期间发表的学术论文
• 致谢