基于异构数据的复杂关联比对方法的研究与应用

论文摘要

由于历史原因,各部门、行业、领域先后保存了大量数据,这些数据因为体系结构、操作系统、数据库、数据结构等方面的异构,导致信息不能自动地实现共享与交换,需要靠人工与外界进行联系。随着信息化时代的到来,尤其是互联网技术的蓬勃发展,这些信息越来越迫切地需要能够最大限度地相互共享、交换、集成和再利用。这就需要对不同部门之间的数据进行集成和比对整合,实现部门间数据的共享和重复利用。据此社会现状,为了将各部门分散、异构的数据进行关联,比对出尽可能多的相同、相似信息,将同源信息加以整合,提高信息的唯一性和时效性,本文对异构数据的复杂关联比对方法进行了研究,研究结果在“辽宁信用数据交换中心”项目中得到了应用。本文首先介绍了本课题的来源、研究目的及意义、国内外研究现状及技术发展趋势等。其次,为了解决目前异构数据复杂关联比对结果成功率太低的问题,研究了针对字段关联比对的字符串序列比对算法,找出了一条提高比对成功率的途径,并对使用字符串序列比对算法前后的成功率情况进行了分析。然后,结合项目要求建立异构数据复杂关联比对模型,并根据字段特征制定异构数据复杂关联比对的数据流程。最后,结合项目的实际情况,根据建立的异构数据复杂关联比对模型,阐述了异构数据复杂关联比对的具体实现情况。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题来源
• 1.2 课题研究目的及意义
• 1.2.1 目前存在的问题
• 1.2.2 研究目的
• 1.2.3 研究意义
• 1.3 国内外研究现状及技术发展趋势
• 1.4 本文主要工作和内容安排
• 第2章 字符串序列比对算法研究
• 2.1 研究目的及方法概述
• 2.2 字母表与序列
• 2.3 处理距离
• 2.3.1 Hamming 距离法
• 2.3.2 Levenshtein 距离法
• 2.4 利用动态规划法处理序列比对
• 2.5 利用A*算法处理序列比对
• 2.5.1 算法需要解决的问题及意义
• 2.5.2 A*算法及其特点
• 2.5.3 A*算法的改进
• 2.6 比对相似率
• 2.7 比对结果分析
• 第3章 异构数据复杂关联比对模型设计
• 3.1 需求分析
• 3.2 逻辑结构设计
• 3.3 数据库设计
• 3.3.1 数据库选型
• 3.3.2 数据表分类
• 3.3.3 数据库逻辑结构设计
• 3.4 异构数据复杂关联比对流程
• 3.4.1 异构数据复杂关联比对原则
• 3.4.2 异构数据复杂关联比对流程
• 3.5 模型功能设计
• 3.5.1 数据初始化
• 3.5.2 数据拆分和映射
• 3.5.3 数据比对和整合
• 3.5.4 数据加载
• 3.5.5 非法数据处理
• 3.5.6 冲突解决
• 3.5.7 人工比对
• 第4章 异构数据复杂关联比对模型应用
• 4.1 系统介绍
• 4.1.1 系统概述
• 4.1.2 开发环境
• 4.1.3 安装环境
• 4.2 数据库实现
• 4.3 系统功能实现
• 4.3.1 数据管理模块
• 4.3.2 系统管理模块
• 4.3.3 系统配置模块
• 4.3.4 查询管理模块
• 4.3.5 日志管理模块
• 4.3.6 帮助
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文
• 致谢
• 详细摘要