基于云计算平台的电信经营分析系统中海量数据处理研究

论文摘要

移动经营分析系统（Business Analysis and Supporting System,简称BASS）是中国移动业务运营支撑系统的核心子系统之一。移动BASS具有海量数据存储、数据源繁杂、处理能力要求高等特点,这些特点使现有的移动BASS面临如何为日益增长的海量数据和复杂业务提供强大计算和存储能力的挑战。云计算能够将分散的计算资源集中起来,形成一个巨大的“资源池”,能更好地解决海量数据难以组织、难以处理的问题。要在移动BASS中应用云计算需要解决很多问题,如何高效地对海量源数据进行抽取、转换和装载（Extraction、Transformation and Loading,简称ETL）处理便是其中之一。论文针对移动BASS的特点,借鉴中国移动“BigCloud”云计算平台的建设思想,设计了基于云计算平台的移动经营分析系统（简称CB-BASS）的框架结构;针对移动BASS现有ETL处理算法的不足,借鉴Map/Reduce思想,提出了基于拆分机制的海量数据处理（Split Mechanism Based Data Processing,简称SMB-DP）算法;针对基于贪婪算法的ETL调度方法的不足,引入了任务优先级概念,提出了改进的基于贪婪算法的ETL任务调度（Advanced Greedy Based–ETL Tasks Scheduling,简称AGB-ETL）算法。在此基础上,搭建了CB-BASS的测试环境,选取移动BASS的计费账务类清单数据进行了测试,并对测试结果数据进行分析和比较,验证了论文提出的SMB-DP算法和AGB-ETL算法可以更有效的实现移动BASS海量数据的ETL处理,更好地满足移动BASS的实际需求。

论文目录

摘要

ABSTRACT

第一章绪论

1.1 课题的研究背景

1.2 课题来源与论文的主要工作

1.3 论文的组织结构

第二章云计算相关概念

2.1 云计算的基本概念

2.1.1 云计算的定义

2.1.2 云计算的分类

2.1.3 云计算的特点

2.2 云计算的体系架构

2.2.1 云计算的体系结构

2.2.2 云计算的层次结构

2.3 云计算的关键技术

2.4 云计算与网格计算的比较

2.4.1 云计算与网格计算的相似之处

2.4.2 云计算与网格计算的差异之处

2.5 云计算的研究现状及发展趋势

2.5.1 国外研究现状

2.5.2 国内研究现状

2.5.3 云计算发展趋势

2.6 本章小结

第三章基于云计算平台的移动经营分析系统分析与设计

3.1 移动经营分析系统（BASS）概述

3.1.1 移动BASS 的系统架构

3.1.2 移动BASS 的技术架构

3.1.3 移动BASS 的功能

3.1.4 移动BASS 的特点及面临的挑战

3.2 基于云计算平台的移动经营分析系统（CB-BASS）架构设计

3.2.1 现有云计算平台简介

3.2.2 CB-BASS 关键技术分析

3.2.3 CB-BASS 架构设计

3.2.3.1 云计算平台的架构设计

3.2.3.2 移动BASS 的功能部署设计

3.3 本章小结

第四章 CB-BASS 中海量数据ETL 处理算法的分析与设计

4.1 移动BASS 中海量数据的分析

4.1.1 移动BASS 中海量数据的产生原因

4.1.2 移动BASS 中海量数据的类型分析

4.2 移动BASS 中海量数据的传统处理

4.2.1 海量数据的一般处理方式

4.2.2 移动BASS 中海量数据的现有ETL 处理方法

4.3 CB-BASS 中海量数据ETL 处理算法的改进设计

4.3.1 SMB-DP 算法设计

4.3.2 AGB-ETL 算法设计

4.3.2.1 移动BASS 常用ETL 任务调度算法分析

4.3.2.2 AGB-ETL 算法的约定

4.3.2.3 AGB-ETL 算法的描述

4.4 本章小结

第五章测试与验证

5.1 CB-BASS 测试平台的搭建

5.1.1 CB-BASS 测试平台的部署设计

5.1.2 CB-BASS 测试平台的基础类设计

5.2 测试场景的设计

5.2.1 测试场景一的设计

5.2.2 测试场景二的设计

5.3 测试结果与分析

5.3.1 SMB-DP 算法的测试结果与分析

5.3.2 AGB-ETL 算法的测试结果与分析

5.4 本章小结

第六章总结与展望

6.1 论文的主要工作

6.2 进一步工作和展望

缩略词

图表清单

参考文献

致谢

攻读硕士学位期间发表的学术论文

基于云计算平台的电信经营分析系统中海量数据处理研究

论文摘要

论文目录

相关论文文献

猜你喜欢