基于主题模型的中英文多文档自动文摘

论文摘要

随着计算机技术和互联网的迅速发展,各种信息呈爆炸式增长,人们对信息精确定位的需求促进了自然语言处理技术的研究。同时,随着人们对跨文本信息融合的分析,多文档自动文摘成为研究者们关注的热门话题,多文档自动文摘在问答系统、搜索引擎和话题检测等诸多应用中都有涉及。本文深入分析了现有的多文档自动文摘技术,将主题模型应用到关键句检测中,并使用动态模型进行冗余控制,在此基础上实现了一个基于主题模型的多文档自动文摘系统。实验结果表明,本文给出的系统在TAC2008和TAC2009自动文摘评测中使用Rouge评测,取得了良好的性能。本文主要针对多文档自动文摘中的两个关键部分:关键句检测和冗余度控制进行了详细分析。在关键句检测方面,本文构建了基于主题模型的句子主题特征,实验证明句子主题特征能够在多文档自动文摘中起了很大作用,将主题特征与其他特征组合构成的特征向量也能很好地提高系统的性能。在冗余控制方面,本文将动态模型引入到句子抽取模块,并在此基础上设计了针对更新摘要的动态模型,使用该动态模型生成的更新摘要能有效地避免历史信息的冗余。在TAC2008语料上的实验表明,本文的关键句检测与冗余控制相结合后,取得了很好的系统性能,特别是在更新摘要任务中,结果高于参赛系统中的最好结果。最后本文将提出的两个关键技术应用于中文语料上,实验结果表明主题模型同样有助于中文语料多文档中句子重要度的检测,动态模型对中文多文档同样可以有效地控制冗余。但英文处理的效果明显优于中文,原因是中文语料需要经过特殊预处理,进而影响了后继的性能。

论文目录

• 中文摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景及意义
• 1.2 多文档自动文摘概述
• 1.2.1 多文档自动文摘定义
• 1.2.2 多文档自动文摘评测
• 1.2.3 多文档自动文摘应用
• 1.3 本文主要工作
• 1.4 论文结构
• 第二章 文献综述
• 2.1 多文档自动文摘综述
• 2.1.1 关键句检测
• 2.1.2 冗余度控制
• 2.1.3 中文多文档自动文摘综述
• 2.2 主题模型介绍
• 2.2.1 LSA 模型
• 2.2.2 PLSA 模型
• 2.2.3 LDA 模型
• 2.3 主题模型在多文档自动文摘中的应用
• 2.4 本章小结
• 第三章 多文档自动文摘系统框架
• 3.1 系统框架
• 3.2 文本预处理模块
• 3.3 关键句检测
• 3.4 冗余度控制
• 3.5 文摘排序
• 3.6 本章小结
• 第四章 关键句检测
• 4.1 相关工作
• 4.2 主题特征构建
• 4.3 主题句检测
• 4.3.1 句子TF*IDF 特征
• 4.3.2 与标题句相似度
• 4.3.3 位置特征
• 4.3.4 句子长度特征
• 4.4 实验设置
• 4.4.1 语料来源
• 4.4.2 结果评测方法
• 4.5 实验结果及分析
• 4.5.1 不同特征对自动文摘的影响
• 4.5.2 主题数目对自动文摘的影响
• 4.5.3 在不同语料上的结果
• 4.6 本章小结
• 第五章 冗余度控制
• 5.1 相关工作
• 5.2 动态模型
• 5.2.1 普通文摘动态模型
• 5.2.2 更新文摘动态模型
• 5.2.3 文摘抽取流程
• 5.3 实验结果及分析
• 5.3.1 实验设置
• 5.3.2 基准系统
• 5.3.3 普通文摘实验结果
• 5.3.4 更新文摘实验结果
• 5.3.5 与其他系统比较
• 5.4 本章小结
• 第六章 基于主题模型的中文多文档自动文摘
• 6.1 中英文多文档自动文摘的区别
• 6.2 关键句检测
• 6.3 冗余度控制
• 6.4 实验设置
• 6.4.1 实验语料
• 6.4.2 结果评测
• 6.5 实验结果及分析
• 6.6 本章小结
• 第七章 总结与展望
• 7.1 系统总结
• 7.2 工作展望
• 参考文献
• 攻读学位期间公开发表的论文
• 攻读学位期间参加的项目
• 致谢