基于分布式数据库的数据同步机制的研究与应用

论文摘要

随着网络应用的迅速发展,人们对获取信息的正确性和及时性的要求也越来越高。数据库系统是目前存储数据、检索信息最为方便高效的手段,绝大多数企业将信息存储在数据库中。目前数据库系统的趋势是由小型化向大型化、集中式向分布式发展。在分布式数据库系统中,数据多分散存储于同一网络中的不同节点上,要实现各节点数据库信息的同步更新就存在维护分布式数据库中数据一致性和完整性的问题。在此背景下,分布式数据库系统的数据同步研究成为热门课题。本文是以实际应用项目《湖北水路规费征稽网络信息管理系统二期》的数据同步为背景,在对湖北省港航管理局各级站点的网络环境进行充分分析的基础上,将系统的数据同步划分为省局、地市、县所和基层站点四个层次。项目初期采用SQL Server复制技术进行200多个站点的同步,试用期间出现数据丢失及同步更新不及时等问题,本文通过分析研究,阐述了原SQL Server复制技术在后期应用中所作的一些有效改进,通过将四级架构改为二级架构、去除级联关系、清理系统相关表等方法解决了系统数据丢失的问题。另外在此基础上设计了一种采用SQL Server事务处理、数据仓库中的ETL技术和XML技术来实现数据同步的新机制。新的同步机制首先利用SQL Server的事务处理和数据仓库的ETL技术搭建一个中间层,或称作数据采集系统,该系统抽取了需要传输的增量数据存储到数据仓库中,然后进行压缩、传输、解压缩等数据处理。数据的上传和下载步骤采用XML技术来实现。先实现存储数据到XML Schema文档的转换,然后生成XML文件,进行上传,之后再将XML文件映射到目标服务器的相应表中,实现数据的下载。基于ETL和XML的同步机制主要从网络环境不稳定、数据量过大等方面深入分析,通过引入新技术保证数据的完整性和一致性。新机制与SQL Server复制相比有较强的优势,引入的ETL技术能有效缓解服务器承载压力,降低网络负荷,XML技术实现同步的优点是高效、可靠,同时适合海量数据处理,也能扩展为异构数据库的同步。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究背景
• 1.2 数据同步机制研究现状
• 1.3 论文研究目的与意义
• 1.3.1 研究目的
• 1.3.2 研究意义
• 1.4 论文主要研究内容
• 第2章 分布式数据库概述
• 2.1 DDBS的基础理论
• 2.1.1 DDBS的定义
• 2.1.2 DDBS的特点
• 2.2 DDBS的体系结构
• 2.2.1 DDBS的结构
• 2.2.2 DDBS的模式结构
• 2.2.3 分布透明性
• 2.3 分布式事务管理
• 2.3.1 分布式事务定义
• 2.3.2 分布式事务的恢复
• 2.4 分布式数据库的发展前景和应用趋势
• 2.5 本章小结
• 第3章 数据同步技术
• 3.1 通信程序
• 3.1.1 通信程序同步策略
• 3.1.2 通信程序同步实现
• 3.2 数据库复制技术
• 3.2.1 复制技术概述
• 3.2.2 同步机制实现
• 3.3 ETL技术
• 3.3.1 数据抽取
• 3.3.2 数据转换
• 3.3.3 数据清洗
• 3.3.4 数据装载
• 3.4 事务处理
• 3.4.1 存储过程
• 3.4.2 触发器
• 3.4.3 调度作业
• 3.5 XML技术
• 3.6 本章小结
• 第4章 新同步机制的分析与研究
• 4.1 影响数据同步性能的因素
• 4.2 现有机制存在的问题
• 4.2.1 通信程序实现的同步
• 4.2.2 复制技术实现的同步
• 4.3 新同步机制的网络应用环境分析
• 4.4 拟解决的关键问题
• 4.5 本章小结
• 第5章 基于ETL和XML的同步机制的设计与实现
• 5.1 总体框架设计
• 5.2 数据处理流程
• 5.2.1 数据采集
• 5.2.2 数据转换
• 5.2.3 传输控制
• 5.2.4 后处理
• 5.3 数据的增量抽取
• 5.3.1 数据分类
• 5.3.2 数据导入流程
• 5.3.3 事务性数据存储及约束规则设定
• 5.3.4 数据仓库的处理
• 5.3.5 增量抽取的实现
• 5.4 用XML实现数据同步
• 5.4.1 模块的总体设计
• 5.4.2 模块实现步骤
• 5.4.3 XML Schema格式文档的生成
• 5.4.4 从SQL Server数据库到XML文档的映射
• 5.4.5 从XML文档到SQL Server数据库的转换
• 5.5 系统运行界面
• 5.6 两种机制的对比分析
• 5.7 本章小结
• 第6章 总结与展望
• 6.1 研究内容总结
• 6.2 工作展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文及参加的科研情况