信息技术领域字母词语提取研究

论文摘要

字母词语提取研究,就是从大规模真实文本中识别并提取出字母词语。字母词语提取,不仅是中文自动分词的需要,对信息检索,机器翻译,自动分类,自动文摘,句法分析的性能指标都有重要的影响。本文选择了信息技术领域作为字母词语研究的领域。信息技术领域作为当今发展最快、影响最大的一门学科,其字母词语的出现频率相对较高,更具有代表性和相对明显的统计意义。本文首先论述了字母词语的界定、字母词语的语言学特征、字母词语的考察研究,然后对字母词语的提取进行了分析,提出了基于转换的错误驱动的字母词语提取方法。在此基础上,文章介绍了字母词语提取系统的具体实现：以《计算机世界》24万字的字母词语手工标注语料库为基础,建设字母词语知识库；以字母词语知识库为标注器,对语料进行初始标注；对比初始标注的结果与正确答案,在错误驱动的基础上，获取转换规则；并给出了字母词语提取的封闭测试和开放测试结果及分析。实验证明,“以字母词语知识库为初始标注器,基于转换的错误驱动的学习方法”,召回率和准确率都取得了较好的效果。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 课题背景及研究意义
• 1.2 字母词语提取的研究现状
• 1.2.1 字母词语识别研究
• 1.2.2 未登录词研究
• 1.2.3 基本名词短语研究
• 1.2.4 提取方法分析
• 1.3 本文的研究内容
• 1.3.1 语料的选择
• 1.3.2 语料的获取及处理
• 1.3.3 字母词语的研究及提取分析
• 1.3.4 字母词语的知识库建设
• 1.3.5 字母词语提取系统
• 1.3.6 实验结果与分析
• 1.4 文章的组织结构
• 第2章 字母词语的语言学研究及对提取的指导
• 2.1 字母词语的界定
• 2.1.1 语言学领域中字母词语的界定
• 2.1.2 信息技术领域字母词语的界定
• 2.2 字母词语的语法特征
• 2.2.1 字母词语的构成
• 2.2.2 字母词语的语法类别
• 2.3 字母词语的相关语言学研究
• 2.3.1 字母词语的归属
• 2.3.2 字母词语的种类和结构方式
• 2.3.3 字母词语的统计考察
• 2.3.4 字母词语的规范
• 2.3.5 字母词语的入典
• 第3章 字母词语考察及提取分析
• 3.1 字母词语存在和使用情况的考察
• 3.1.1 考察的范围
• 3.1.2 字母词语中含有大量专名、术语
• 3.1.3 字母词语中标点符号的使用
• 3.1.4 字母词语的语形不规范
• 3.1.5 字母词语的出现频率
• 3.2 字母词语的提取分析
• 3.2.1 字母词语中含有字母串
• 3.2.2 字母词语是一个完整的语言单位
• 3.2.3 字母词语提取的分析
• 第4章 字母词语提取方法
• 4.1 基于转换的错误驱动的学习方法概述
• 4.2 字母词语知识库建设
• 4.2.1 汉字语素或汉语词库（HgC）
• 4.2.2 特征词库（Tc）
• 4.2.3 指界汉字语素或汉语词库（HzC）
• 4.2.4 汉字语素或汉语词词性库（HPC）
• 4.2.5 标点符号库（W）
• 4.3 初始标注
• 4.3.1 分词和词性标注
• 4.3.2 初始标注过程
• 4.3.3 举例说明初始标注过程
• 4.3.4 初始标注结果及分析
• 4.4 规则的获取
• 4.4.1 规则的获取模式
• 4.4.2 本文获取的规则
• 4.5 工作流程
• 第5章 实验结果与分析
• 5.1 实验结果
• 5.2 实验分析
• 5.2.1 字母词语提取召回率的分析
• 5.2.2 字母词语提取准确率的分析
• 第6章 结论与展望
• 6.1 本文所做的工作
• 6.2 结论
• 6.3 展望
• 参考文献
• 附录
• 攻读硕士学位期间发表论文情况
• 致谢