面向互联网的多元信息获取技术研究

论文摘要

为了将互联网中纷繁复杂的信息快捷准确地呈现在用户面前,各种信息获取系统大量出现。信息获取是从网页中获得知识的手段,通常包括信息网页获取,信息抽取,信息去重等步骤。信息抽取在获取的信息网页上进行,信息网页获取力求快速获得系统关注的页面,高质量的信息网页,有助于提高信息抽取的质量。一般信息抽取之后还要对信息进行冗余判断及合并,信息的冗余意味着所在网页之间存在冗余,以往的研究并没有考虑到利用这方而冗余来对网页获取进行优化,可以在冗余的网页中,选择部分高质量页面,获取页面并抽取内容,提高信息抽取的效率和效果。本文首先介绍一种快速信息网页获取方法。该方法建立于一个普适的信息网页获取系统中,对初步抽取的信息进行冗余去重,找出抽取信息间的冗余关系；再利用对信息网页的URL模式归纳和精选,选择部分URL模式来构造信息网页下载的导航器。之后,系统将根据下载导航器来获取信息网页,使在能保证抽取信息数目的前提下,减少系统在信息网页获取一步上的开销。由于快速信息网页获取依赖一个信息去重过程,所以本文接着介绍多元信息冗余去重的方法。对于多元信息,本文将各信息元素分为四个大类,计算每个信息元素的相似度,并以此作为特征,利用二类分类器对两两信息间是否冗余进行判断。此外,本文在比较难以处理的命名实体信息上,使用一个自动扩充同义词对的方法,能明显提高多元信息冗余去重的效果。实验方面,快速网页获取方法将和普通的下载进行比较,主要对比其下载量,信息抽取量,该方法的时间适用性等等,从结果能看出快速网页获取在保证信息量的前提下能大幅减少下载开销。多元信息去重的实验在两个数据集上进行,验证了去重效果和命名实体词对自动扩展的效果。

论文目录

• 目录
• 摘要
• Abstract
• 第一章 引言
• 1.1 任务介绍和应用领域
• 1.2 研究背景及相关工作
• 1.2.1 网页获取的基本概念
• 1.2.2 网页相关性分析
• 1.2.3 网页获取的相关工作
• 1.2.4 多元信息去重的相关工作
• 1.3 本文的工作
• 1.4 本文的组织结构
• 第二章 快速信息网页获取方法
• 2.1 信息网站的选择
• 2.2 网页的初步下载和简单过滤
• 2.3 信息抽取和信息网页标定
• 2.4 URL模式归纳
• 2.4.1 基于Token的URL模式学习
• 2.4.2 基于共有前缀的URL模式学习
• 2.5 URL模式精选
• 2.5.1 URL模式精选:信息覆盖数优先
• 2.5.2 URL模式精选:信息耗费低优先
• 2.6 下载导航器的产生和使用
• 第三章 多元信息冗余判断
• 3.1 多元信息表示
• 3.2 信息元素的分类
• 3.3 多元信息去重一般流程
• 3.4 信息相似度计算
• 3.5 信息冗余度判断
• 3.6 命名实体信息元素的自动扩展
• 第四章 评测与实验
• 4.1 快速信息网页获取方法实验
• 4.1.1 实验设置介绍
• 4.1.2 实验比较方法
• 4.1.3 减少网页下载量实验
• 4.1.4 时间适用性实验
• 4.1.5 快速网页获取的参数实验
• 4.1.6 网站扩充步骤实验
• 4.1.7 运行时间分析
• 4.2 多元信息去重实验
• 4.2.1 信息去重的评测指标
• 4.2.2 事件信息去重
• 4.2.3 论文索引信息去重
• 第五章 总结与展望
• 参考文献
• 攻读学位期间参加的科研项目与发表的论文
• 致谢