基于海量数据的数据库模型优化研究

论文摘要

网络高速发展的今天，数据传输和存储量越来越大，海量数据库存储系统应运而生，如何将有限的物理存储空间高效的利用起来，成为目前研究数据库的学者们探讨的首要问题。因此，海量数据的管理，海量数据库的优化就成了值得研究的突出课题。而目前的海量数据库存储模式大部分是在原有的小存储量数据库模式上面进行改造，这样就产生了很多弊端和不适应，一些新兴的数据库模式，特别是大型企业的数据库存储模式也只是将数据简单的压缩存储，使得所存储的数据不全，不适合如全球地理信息系统、气象系统、地震系统以及一些有这连续性、微量变化、时间敏感性的一些数据库系统。这样的数据库系统用现有的数据库存储模式会产生如下问题：数据冗余度大、精确度差、计算繁琐、查询有局限性。针对以上问题，提出了新型的数据库存储模式，建立基态库将原有的数据库冗余度大大减小。建立增量库使存储的数据连续、详细并且计算简单。建立历史库使得只能存储一个月实时数据的系统，目前存储了2年之内的信息。文章通过对近几年关于海量数据库论文的研究，结合了一些海量数据库的存储模式，并对其进行分析与研究，将原有的数据库存储模式与现代海量数据库的存储模式进行对比以及分析利弊，提出先进的数据库布局模式——动态-增量数据库存储模式。在此存储模式的基础上，提出适合动态-增量库存储模式的算法和备份策略。文章在Windows Xp系统下运用JBuilder开发工具Sqlserver2003数据库以全球地震台网采集到的全球地震信号为基础数据对数据库模型进行反复实验和改良。建立了以动态-增量模型为基础的数据库存储体系，并在动态-增量数据库模型的基础上研究适合其特点的内部存储结构和优化算法。实现了海量数据库存储模式的优化设计。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 选题的目的和意义
• 1.2 相关概念介绍
• 1.2.1 数据库系统模式的概念
• 1.2.2 Oracle 数据库模式结构
• 1.3 国内外研究现状
• 1.3.1 地理信息海量数据库存储模式
• 1.3.2 商业海量数据库存储模式
• 1.3.3 其他关于地理信息的数据库模型
• 2 海量数据库存储模式相关技术
• 2.1 海量数据
• 2.1.1 海量数据库系统
• 2.2 连接池技术
• 2.2.1 连接池原理
• 2.2.2 连接池的关键技术
• 2.3 DBHDP 算法
• 2.3.1 算法研究背景
• 2.3.2 问题描述
• 2.3.3 DBHDP 算法
• 2.4 算法性能分析和相关的定义
• 3 动态增量数据库存储模式
• 3.1 内容简介
• 3.1.1 状态基态库
• 3.1.2 增量库
• 3.1.3 历史库
• 3.2 数据库的建立
• 3.2.1 基态库的建立
• 3.2.2 增量库的建立
• 3.2.3 历史库的建立
• 3.3 数据冗余
• 3.4 查询效率的提高
• 4 实验测试及结果分析
• 4.1 实验环境
• 4.2 测试结果与分析
• 4.3 通用的海量数据库性能测试系统
• 结论
• 参考文献
• 在学研究成果
• 致谢