基于领域本体的Web信息抽取技术研究

论文摘要

随着World Wide Web(简称WWW,Web)的迅速发展,网络上的信息与日俱增,互连网已成为人们获取信息的重要来源。而网络技术的迅猛发展为信息集成技术带来了新的问题和挑战,面对Internet上异质、异构数据的大量涌入,信息集成技术的研究呈现出前所未有的生命力。Web信息抽取技术是实现Web信息的集成一个有效途径。其主要目标是支持对Web上的多个数据源的查询,满足用户的查询需求。信息抽取虽然需要对文本进行一定程度的理解,但与真正的文本理解还是不同的。在信息抽取中,用户一般只关心有限的感兴趣的事实信息,而不关心文本意义的细微差别等深层理解问题。因此,信息抽取只能算是一种浅层的文本理解技术。而Web信息抽取在某些方面和Web信息检索类似,主要目的是方便用户获得所需信息为目的的;但两者又存在着很大的不同,如信息检索直接将检索到的Web相关网络资源直接提供给用户,Web信息抽取是将Web中各种不同格式表达的信息通过抽取技术转化为统一的信息表达方式。它为数据挖掘、新一代搜索引擎、面向专业领域的垂直搜索等提供了巨大的数据支持。信息抽取还可以看作是信息检索的进一步深化,研究指定信息的查找、理解和抽取,并将指定信息以适当的方式输出。信息抽取本身也是多种基本自然语言处理技术的综合应用,因此应用领域十分广泛。总之信息抽取的最终目的还是抽取出用户需要的信息供用户检索,查询和使用。本文主要做了以下几方面工作。1.基于领域本体的Web商品表格信息抽取。首先是提出以领域本体知识为指导,抽取表格信息表达为主的商品信息。由于市场信息化使得商务信息抽取、市场内容管理日益成为信息科学领域的一个研究热点。信息在网络上传播具有高时效,低成本等特性,因而越来越多的企业和个人都选择在网上发布商品信息,汽车,房产等信息都是鲜活的例子。这些信息本身多数都是以有一定的结构的信息如表格或类表格呈现,但是不同网站的表现形式却大相径庭。这里提出了以领域本体知识为指导,抽取表格信息表达为主的商品信息,自动集成不同网站的同类服务或产品的信息,用以实现专业检索的功能。以房产信息为例,首先利用本体及领域本体的相关知识,建立了一个房产信息领域的领域本体,用以指导信息抽取,并做了相关的实验。2.基于领域本体的Web商品文本信息抽取。由于Web上的部分商务信息不是以表格或类表格形式呈现的,而是以自由文本形式出现的,而这些信息是以上的系统的盲区。因此进而结合自由文本信息提取方法,对自由文本的提取做了一定的深入研究,同样应用了领域本体的知识在上一步的基础上对Web上自由文本形式存在的房产信息进行提取。3.有关领域本体的属性约简及文本相似度的计算的讨论。本文还讨论了有关对领域本体的属性约简方面的理论,以实现对Web信息抽取的优化。

论文目录

• 中文摘要
• 英文摘要
• 1 绪论
• 1.1 Web 信息抽取技术的研究背景和基本概念
• 1.1.1 研究背景
• 1.1.2 信息抽取技术概念及研究意义
• 1.2 论文的研究内容及主要问题究
• 1.2.1 现有信息抽取技术
• 1.2.2 Web 信息抽取方法
• 1.3 本文提出的主要技术
• 1.4 论文结构
• 2 相关概念
• 2.1 本体及领域本体的相关理论
• 2.1.1 本体的相关概念
• 2.1.2 本体的分类及领域本体的相关理论
• 2.1.3 领域本体构建的方法及关键技术
• 2.1.4 本体描述的方法简介
• 2.2 自然语言处理技术
• 2.2.1 自然语言处理技术概述
• 2.2.2 自然语言处理技术的理论与方法
• 2.2.3 自然语言处理的发展趋势
• 2.3 语义网
• 2.3.1 语义网的概念和特征
• 2.3.2 语义网关键技术简介
• 2.3.3 XML
• 2.3.4 RDF
• 2.3.5 Ontology
• 2.4 本章小结
• 3 领域本体的属性约简及文本相似度计算
• 3.1 粗糙集属性约简算法
• 3.1.1 粗糙集基本知识
• 3.1.1.1 信息系统
• 3.1.1.2 等价类、约简、核
• 3.1.2 属性约简的经典算法
• 3.1.3 基于属性重要性的约简算法
• 3.1.3.1 属性重要性
• 3.1.3.2 约简算法
• 3.2 基于分词的中文文本相似度计算
• 3.2.1 相似度
• 3.2.2 相似算法
• 3.2.3 中文文本相似度计算的主要方法
• 3.2.3.1 基于向量空间模型的 TF-IDF 方法
• 3.2.3.2 基于汉明距离的文本相似度计算方法
• 3.2.3.3 基于属性论的文本相似度计算方法
• 3.2.3.4 基于语义理解的相似度计算方法
• 3.3 文本相似度计算的新方法
• 3.4 本章小结
• 4 领域本体指导的 Web 商品表格信息抽取
• 4.1 系统的总体设计
• 4.2 领域本体指导的商品信息抽取系统框架模型
• 4.2.1 领域本体架构和抽取模式的建立
• 4.2.2 网页分块技术
• 4.2.2.1 网页的结构化特征
• 4.2.2.2 网页分块算法
• 4.2.3 网页中的表格信息的抽取与处理
• 4.3 实验与讨论
• 4.3.1 评价标准
• 4.3.2 实验与分析
• 4.4 本章小结
• 5 领域本体指导的 Web 商品文本信息抽取
• 5.1 系统总体设计
• 5.2 网页文本的分块
• 5.2.1 基于视觉的网页分块算法
• 5.2.2 网页整体的语义块分割
• 5.2.3 对段落内容的文本分割
• 5.3 分块信息属性和属性值的抽取
• 5.4 对框架的可行性测试及存在的问题
• 5.4.1 测试的主要内容、方式及结果
• 5.4.2 存在的问题
• 5.5 本章小结
• 6 展望及结束语
• 6.1 本文工作总结
• 6.2 未来工作展望
• 参考文献
• 参与项目
• 攻读硕士学位期间发表的学术论文目录
• 致谢