维基百科人物属性自动获取及社会网络构建方法研究

论文摘要

人物检索是互联网用户最重要的活动之一。人物搜索引擎、社会网络构建等与人物相关的网络应用成为研究的热点。人物属性抽取是这些研究的一个重要基础。本文基于维基百科的人物文本进行了人物属性的抽取研究,并在人物属性抽取的基础上,结合人物维基文本中的其他信息,构建了一个社会网络。维基百科人物文本中的信息盒以表格的形式对人物的重要属性进行了描述,这为抽取人物属性提供了很好的数据源。但是只有不到40%的维基文本包含信息盒,并且还有部分信息盒中的属性信息缺失。因此,如何自动生成信息盒及填充信息盒中缺失的属性信息成为本文的研究内容之一。信息盒模板有不同的类型,不同的信息盒模板包含的属性类型不同。在利用信息盒模板抽取属性之前,必须先确定维基文本使用的信息盒模板类型。本文把该问题当作一个文本分类任务处理。在特征选择方面,提出了基于超链接词、文本类别和实词的特征选择方法,并且与所有词作为特征的方法进行了对比,在不同的分类器上进行了实验。结果表明,本文提出的方法在分类性能上具有一定的优越性。在属性抽取任务中,本文提出了一种全自动的抽取方法。该方法利用部分已有信息盒中的“人物姓名-属性-属性值”三元组标记维基文本句子,自动生成带标注的数据集,通过机器学习生成描述人物属性的模板,从而通过模板匹配获取更多人物的属性信息,达到生成或完善信息盒的目的。本文在五个常用属性上进行了实验,实验表明,该方法可以有效的抽取出人物的属性。最后,基于抽取出的人物属性以及维基文本中的其他信息挖掘出一个相似性社会网络。本文将人物的不同信息进行了分类,提出“人物模型”的表示方法。对于人物模型中的不同维度,给出了不同的相似度计算方法。对于人物模型总的相似度的计算,本文把人物实体看作一个系统,采用了系统相似性度量的方法。此外,本文还定义了四种关系,对给定的两个人物,在输出相似度的同时,进一步给出了两个人物之间的关系。最后,在维基百科真实人物的数据集上进行了实验,分析了网络的分布特征,证明了该方法的可行性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景和意义
• 1.2 研究现状
• 1.3 本文工作
• 1.4 论文组织
• 第2章 维基百科
• 2.1 维基百科简介
• 2.2 维基百科的内容结构
• 2.2.1 主条目页面
• 2.2.2 重定向页面
• 2.2.3 消歧义页面
• 2.2.5 分类图和文档图
• 2.2.6 模板和信息盒
• 2.2.7 列表
• 2.2.8 其他
• 2.3 维基百科的语法
• 2.4 维基百科在自然语言处理领域的应用
• 2.4.1 文本分类
• 2.4.2 关系抽取
• 2.4.3 本体构建
• 2.4.4 网络构建
• 2.5 本章小结
• 第3章 基于维基百科信息盒的人物属性抽取
• 3.1 任务定义
• 3.2 维基百科语料的获取
• 3.3 维基百科语料的预处理
• 3.3.1 人物条目的提取
• 3.3.2 抽取人物条目文本和信息盒
• 3.3.3 抽取人物维基文本中的超链接和类别信息
• 3.3.4 从信息盒中抽取三元组
• 3.3.5 格式清理及转化
• 3.3.6 繁简转换
• 3.3.7 分句及分词
• 3.4 基于信息盒模板类别的文档分类
• 3.4.1 文本表示
• 3.4.2 特征权重计算方法
• 3.4.3 特征选择方法
• 3.4.4 相似度计算方法
• 3.4.5 分类器
• 3.4.6 评价方法
• 3.4.7 实验
• 3.5 基于模板的人物属性自动获取
• 3.5.1 数据集自动标注
• 3.5.2 模板自动获取
• 3.5.3 人物属性获取
• 3.5.5 实验
• 3.6 本章小结
• 第4章 基于维基百科人物的社会网络构建
• 4.1 人物模型构建
• 4.2 人物模型的特征表示
• 4.3 人物模型的相似度计算
• 4.3.1 人物基本属性的相似度计算方法
• 4.3.2 人物相关信息的相似度计算方法
• 4.3.3 人物类别信息的相似度计算方法
• 4.3.4 人物模型总的相似度计算方法
• 4.4 关系类型定义及抽取规则
• 4.5 实验
• 4.5.1 实验数据
• 4.5.2 实验结果及分析
• 4.6 本章小结
• 第5章 总结及工作展望
• 5.1 总结
• 5.2 工作展望
• 参考文献
• 致谢
• 攻读硕士期间发表的论文及参加的项目