基于WebService的海量数据传输算法研究

论文摘要

随着linux操作系统的迅猛发展及其广泛流行,越来越多的企业或部门将其作为系统平台,linux已成为最受欢迎的服务器操作系统之一。越来越多的应用程序运行在Linux系统平台下,这就使的很多应用程序尤其是一些商用程序面临的程序间的互操作问题变得更加严峻。现在,除了最简单的程序之外,所有的应用程序都需要与运行在其他异构平台上的应用程序集成并进行数据交换。因此,不同的操作系统间的通信问题逐渐得到重视。而在之前没有一个应用程序通信标准,是独立于平台、组建模型和编程语言的。只有通过Web Service,客户端和服务器才能够自由的用HTTP进行通信,不论两个程序的平台和编程语言是什么。本文研究了基于WebService技术的跨平台的海量数据通信,在WebService技术的应用中,需要考虑的问题甚多,包括其SOAP消息传送机制,数据传输的完整性和传输过程中的效率和安全性问题,及QoS问题等,尤其本文以海量数据为传输对象,还需要涉及海量数据的压缩存储技术,在传输效率及安全性方面也更加复杂,要求也更高。本文主要完成了下面几个工作：1)详细研究分析了海量数据压缩算法,通过对几种通用编码算法的比较,并针对海量数据自身的特点及其复杂性对几种海量数据压缩编码算法进行了详细分析,并对其各自的性能和实用性进行了比较及阐述。2)对WebService下海量数据的传输进行了研究,分析出其传输面临的各种问题,例如传输效率、传输安全性等。并相应提出了解决方案,即通过解决传输的瓶颈问题及对SOAP消息高效的序列化来提高传输效率,通过对XML加密及数字签名等技术来保证其安全性。3)传输的实现。在linux系统平台下实现了服务端,在Windows系统平台下实现客户端,充分体现了WebService技术跨平台的优越性及使用的简单性。并对WebService下的Qos问题进行了分析及提出一些改进。本课题采用了基于SOAP协议的网络通信技术、动态内存分配技术、多线程技术、并行编程、网络并发控制、内存有效管理以及多种数据结构。为将来网络通信平台的系统开发提供了必要的技术支持。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题研究的背景、目的和意义
• 1.2 国内外研究现状
• 1.3 WebService技术概述
• 1.3.1 WebService的概念和特点
• 1.3.2 WebService的相关技术
• 1.4 论文组织结构
• 第2章 WebService技术的研究
• 2.1 WebService的基本概念及其体系构成
• 2.2 WebService技术中的标准和协议
• 2.3 对SOAP协议的分析与研究
• 2.3.1 SOAP协议简介
• 2.3.2 SOAP消息的构成
• 2.3.3 SOAP消息的传送机制
• 2.3.4 SOAP的核心技术
• 2.4 提高WebService数据传输率的方法
• 第3章 海量数据的传输机制比较与分析
• 3.1 海量数据介绍
• 3.2 海量数据编/解码算法的比较与分析
• 3.2.1 几种编码算法的比较
• 3.2.2 基于上下文的自适应算术编码算法
• 3.3 基于谓词索引的压缩存储算法
• 3.3.1 存储结构
• 3.3.2 压缩存储算法
• 3.3.3 算法性能分析
• 3.4 海量数据并行压缩算法
• 3.4.1 算法总体设计
• 3.4.2 统计模块的分析设计
• 3.4.3 数据分割模块的分析设计
• 3.4.4 任务分配模块的分析设计
• 3.4.5 编码器模块的实现
• 3.4.6 规约模块的分析设计
• 3.4.7 算法性能分析
• 第4章 WebService下传输机制的优化与改进
• 4.1 WebService下海量数据传输瓶颈的分析
• 4.2 对WebService下海量数据传输瓶颈的改进
• 4.2.1 对SOAP协议缺陷的改进
• 4.2.2 对应用层的缺陷的改进
• 4.2.3 对传输层TCP缺陷的改进
• 4.3 SOAP消息的序列化及其改进算法
• 4.3.1 SOAP消息序列化的概念及序列化框架
• 4.3.2 SOAP消息序列化的加速算法
• 4.4 WebService的安全性机制
• 4.4.1 WebService下存在的安全问题
• 4.4.2 XML加密
• 4.4.3 XML数字签名
• 4.4.4 授权
• 4.4.5 SOAP安全模型
• 第5章 基于WebService下的数据传输的实现
• 5.1 WebService的跨平台模型
• 5.2 WebService服务端的开发
• 5.2.1 Linux系统下Java环境的安装
• 5.2.2 服务端的开发实现
• 5.3 WebService客户端的开发
• 5.4 WebService的QoS问题分析
• 5.4.1 WebService下的QoS需求
• 5.4.2 影响QoS的问题分析及改进
• 第6章 总结和展望
• 6.1 本文完成的主要工作
• 6.2 下一步要进行的工作和展望
• 致谢
• 参考文献
• 在攻读硕士学位期间发表的学术论文