Web信息抽取规则及其学习算法

论文摘要

面对Web信息的迅猛增长,信息抽取技术非常适合于从大量的文档中抽取需要的事实数据。被抽取出的信息经常以结构化的形式存入数据库中,可进一步用于信息查询、文本深层挖掘、Web数据分析、自动问题回答等。通常抽取规则(抽取模式)定义了如何从多个异构的Web站点中定位和识别感兴趣的信息,是信息抽取系统的要素之一。早期信息抽取系统一般都需要用户以手工方式定义抽取规则,工作费时费力,为此最近的研究工作集中在规则生成的有效方法上。本文重点研究Web信息抽取规则的定义和规则的自动归纳学习算法。我们首先分析对比现有信息抽取方法及系统,给出了基于DOM树的抽取规则定义;再提出了拆分训练实例以生成候选集的预处理算法和改进的WHISK学习算法;进而设计实现了WHISK算法及其改进算法,并对真实的Web内容进行了详尽的实验对比分析。与WHISK系统相比,我们的系统能够通过检索、抽取和映射等规则的定义可以对真实在线的Web网页内容进行自动化抽取。抽取规则的生成过程分为两个阶段:先将文档解析成一棵DOM树,得到待抽取信息的路径特征;再通过人工标注待抽取的信息,将训练实例通过预处理算法生成候选集,归纳学习出基于正则表达式的模式。与WHISK实验结果的对比分析表明,本文归纳生成规则的效率明显提高,对于单槽和多槽数据都具有不错的归纳学习能力,具有较高的召回率和准确率。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究历史及发展现状
• 1.3 研究内容
• 1.4 论文组织结构
• 第2章 Web信息抽取概述
• 2.1 自由文本、结构和半结构化文本
• 2.1.1 自由文本
• 2.1.2 结构化文本
• 2.1.3 半结构化文本
• 2.2 信息抽取与信息检索的区别及联系
• 2.3 信息抽取工具分类
• 2.3.1 基于Web查询的信息抽取
• 2.3.2 基于HTML结构的信息抽取
• 2.3.3 基于包装器归纳方式的信息抽取
• 2.3.4 基于自由文本的信息抽取
• 2.3.5 基于自然语言处理的信息抽取
• 2.3.6 基于本体方式的信息抽取
• 2.4 信息抽取与机器学习方法
• 第3章 抽取规则
• 3.1 抽取规则的定义
• 3.2 规则表示
• 3.3 单槽和多槽抽取规则
• 3.4 抽取规则获取方法
• 第4章 基于归纳的规则学习
• 4.1 规则学习依据
• 4.2 WHISK学习算法简介
• 4.2.1 开始生成规则
• 4.2.2 定位槽
• 4.2.3 扩展规则
• 4.2.4 修剪规则集
• 4.3 规则学习过程
• 4.3.1 相关概念
• 4.3.2 训练实例生成
• 4.3.3 训练实例预处理算法
• 4.3.4 规则学习算法
• 4.3.5 规则自动生成
• 4.4 一个例子
• 第5章 系统框架及实现
• 5.1 系统目标
• 5.2 系统框架结构
• 5.3 系统实现
• 5.3.1 Web文档解析模块
• 5.3.2 规则归纳学习模块
• 第6章 实验结果
• 6.1 实验平台
• 6.2 实验结果的评价标准
• 6.3 实验结果及相关分析
• 6.3.1 结构化数据
• 6.3.2 半结构化数据
• 6.4 与WHISK实验结果对比
• 第7章 结论与展望
• 7.1 论文总结
• 7.2 展望
• 参考文献
• 攻读学位期间公开发表论文
• 致谢
• 研究生履历