Deep Web数据抽取及语义标注研究

论文摘要

随着计算机和网络技术的快速发展,互联网在人们的日常生活中发挥着越来越重要的作用。信息检索作为互联网应用的重要组成部分,是用户获取信息的主要方法。目前,信息检索一般通过搜索引擎完成。由于技术原因,传统的搜索引擎只能发现静态网页内容,而无法获取Web数据库中的信息。如何能够充分利用Web数据库中丰富的资源,成为一个值得研究的问题。存储在Web数据库中、不能通过超链接访问的资源集合被称为Deep Web。为自动获取Deep Web背后众多Web数据库中的资源,需要建立Deep Web数据集成系统,该系统的查询结果处理模块分为数据抽取和语义标注两部分。数据抽取是指通过技术手段将Web页面上的数据抽取出来,保存为XML文档或关系模式,作为下一步处理的基础。语义标注是指对抽取出的数据增加语义注释,便于计算机识别与处理,从而具有更高的利用价值。本文使用Xpath技术完成Deep Web数据抽取并提出一种基于中文词性和领域知识的语义标注方法。基于Xpath的数据抽取方法首先将Deep Web查询结果页面规范化为XML格式,然后在遍历XML文档的过程中确定待抽取数据路径表达式,最后根据该表达式完成数据抽取并保存为XML格式。语义标注给抽取出的数据增加语义信息。本文所述语义标注方法借助中文分词工具得到抽取结果的词性,并根据词性或词性组合与语义建立映射规则,同时结合领域知识进行语义标注。实验表明,本文所述方法能够对Deep Web查询结果准确抽取并对抽取结果进行语义标注,从而验证了方法的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究现状
• 1.2.1 Deep Web
• 1.2.2 数据抽取技术
• 1.2.3 语义标注技术
• 1.3 研究目标
• 1.4 论文组织
• 1.5 本章小结
• 第2章 相关知识介绍
• 2.1 HTML
• 2.1.1 HTML简介
• 2.1.2 HTML标签
• 2.1.3 HTML特点
• 2.1.4 DHTML
• 2.1.5 JavaScript
• 2.2 XML
• 2.2.1 XML简介
• 2.2.2 XML语法规则
• 2.2.3 DTD
• 2.2.4 XPath
• 2.2.5 XHTML
• 2.3 DOM
• 2.3.1 DOM简介
• 2.3.2 XML DOM
• 2.3.3 XPathResult对象
• 2.4 Deep Web数据集成
• 2.4.1 查询接口生成模块
• 2.4.2 查询处理模块
• 2.4.3 查询结果处理模块
• 2.5 数据抽取
• 2.5.1 数据抽取的概念
• 2.5.2 数据抽取性能的衡量标准
• 2.5.3 NekoHTML
• 2.6 语义标注
• 2.6.1 语义标注的概念
• 2.6.2 语义标注结果的衡量标准
• 2.7 中文分词
• 2.7.1 中文分词简介
• 2.7.2 中文分词工具ICTCLAS
• 2.7.3 中科院计算所汉语词性标记集
• 2.8 本章小结
• 第3章 基于Xpath的数据抽取
• 3.1 查询结果页面规范化
• 3.2 规范化XML文档结构分析
• 3.3 待抽取数据路径表达式
• 3.4 数据抽取与数据预处理
• 3.5 数据抽取实现过程
• 3.6 本章小结
• 第4章 基于中文词性和领域知识的语义标注
• 4.1 结果模式分析
• 4.2 词性分析
• 4.3 语义标注集
• 4.4 数据语义标注
• 4.4.1 语义型数据标注
• 4.4.2 内容型数据标注
• 4.5 语义标注实现过程
• 4.6 本章小结
• 第5章 实验与分析
• 5.1 数据抽取实验及分析
• 5.2 语义标注实验及分析
• 5.3 本章小结
• 第6章 总结与展望
• 参考文献
• 攻读硕士学位期间科研工作情况
• 致谢