Deep Web数据源发现和选择研究

论文摘要

随着Internet信息的迅速增长,Deep Web数据资源的数量急剧增加。然而,这些数据信息只能通过动态查询响应来获取,不容易被传统的搜索引擎如Google、百度搜索到,因此并未得到充分的利用。因此,探索和研究支持Deep Web查询搜索引擎从而满足实际用户的广泛需求,成为信息领域研究的重点。由于Deep Web的自身特点,实现其数据资源集成在技术上存在很大难度。为了发现和集成这些Deep Web资源,本文首先分析了Deep Web国内外研究现状,提出了Deep Web数据集成系统框架,分析了其主要的四种机制：知识库构建机制、查询处理机制、查询转换机制和结果集成机制,并阐述了Deep Web集成的难点。其次,本文阐述了Deep Web爬虫框架,通过分析接口类型和表单处理机制,包括表单解析、表单特征提取、表单模式匹配和表单聚类和分类,结合数据源接口发现四层模型,提出了基于领域的表单爬虫框架DeepRunner,提出基于领域的Deep Web数据源发现算法DOER来获取领域数据源。本文从理论上阐述Deep Web的属性分布和问题描述,分析了Top-k查询技术和主流算法,结合Top-k算法的优点,提出了基于属性支配模式增长算法的Top-k数据源选择策略,并且结合属性间共现度特征,进一步改进算法,提高了算法执行的查准率和查全率,从而提高了用户查询服务的质量。最后,本文阐述Deep Web查询转换和查询结果集成机制。实验表明,本文的DeepRunner框架可以获取Deep Web领域数据源,验证了其可行性；通过大量的实验数据,本文验证了基于领域的数据源发现算法DOER的优越性,也证明了基于属性支配模式增长算法的Top-k数据源选择算法及其改进算法的有效性,尤其在大规模数据集成中,这两种算法效率显著高于传统的Top-k数据源选择策略。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.2.1 Deep Web数据源发现和选择
• 1.2.2 Deep Web模式抽取
• 1.2.3 Deep Web模式匹配
• 1.2.4 Deep Web结构化数据抽取
• 1.2.5 Deep Web实例信息预处理
• 1.2.6 Deep Web数据整合
• 1.2.7 国内相关研究
• 1.3 本文研究内容
• 1.4 论文结构
• 第二章 Deep Web数据集成概述
• 2.1 Deep Web简介
• 2.2 Deep Web数据集成系统框架
• 2.2.1 知识库构建机制
• 2.2.2 查询处理机制
• 2.2.3 查询转换机制
• 2.2.4 结果集成机制
• 2.3 Deep Web集成的难点
• 2.4 本章小结
• 第三章 Deep Web数据源发现
• 3.1 相关研究
• 3.2 Deep Web爬虫框架
• 3.3 Deep Web接口发现
• 3.3.1 接口类型
• 3.3.2 接口识别
• 3.4 表单处理机制
• 3.4.1 表单解析
• 3.4.2 表单特征提取
• 3.4.3 表单模式匹配
• 3.4.4 表单聚类与分类
• 3.5 基于领域的Deep Web数据源发现
• 3.5.1 接口发现四层模型
• 3.5.2 基于领域的表单爬虫框架
• 3.5.3 基于领域的Deep Web数据源发现算法
• 3.6 本章小结
• 第四章 Deep Web Top-k数据源选择
• 4.1 相关研究
• 4.1.1 Deep Web数据源选择
• 4.1.2 Top-k数据源选择
• 4.2 Deep Web数据源选择方法
• 4.3 Deep Web的属性分布和问题描述
• 4.4 传统的Top-k数据源选择方法
• 4.5 基于属性支配模式增长算法的Top-k数据源选择
• 4.5.1 相关定义和性质
• 4.5.2 属性支配模式增长算法
• 4.5.3 Top-k数据源排序
• 4.6 结合共现度的数据源选择
• 4.7 本章小结
• 第五章 实验分析和性能评价
• 5.1 实验数据和实现
• 5.2 实验结果分析
• 5.3 本章小结
• 第六章 总结与展望
• 6.1 本文主要工作
• 6.2 今后的工作
• 参考文献
• 致谢
• 攻硕期间科研及发表论文情况