基于Django的数据收集系统的设计与实现

论文摘要

随着互联网的飞速发展,信息呈几何级增长,对数据的收集利用也逐渐被人们所重视。如何处理大量的数据,从数据中获取有用的信息变得至关重要。对公司而言,从大量的数据中发掘出有价值的信息有利于公司的长远发展。过去,公司内部存储数据的文件格式众多,数据较为零散。员工需要耗费大量的时间整理、验证文件中数据,而处理数据更会花费大量的人力物力。因此有必要建立一个数据收集系统收集公司内部数据,从而更好地分析和利用数据。本文所介绍的数据收集系统基于Python主流Web框架Django搭建,使用CSS框架Bootstrap设置页面布局,采用JavaScript相关技术为页面交互提供支持。数据收集系统主要用于收集、处理公司内零散的数据。系统通过引入模版实现对表单灵活地管理,以适应公司内数据的变动。本文首先介绍了项目的相关背景和本人在论文中的主要工作,然后介绍了项目开发中所运用的技术包括Django、MTV、jQuery、AJAX、Moses、XML-RPC和INI文件以及这些技术的基本原理。接着本文阐述了项目需求,通过系统用例图和系统边界图引出数据收集系统的总体设计和模块设计,这一部分列出了系统的总体结构并且主要介绍了模版设计、公式设计、模版管理模块设计、公式管理模块设计以及数据管理模块设计。然后本文讨论了系统的实现部分,详细阐述了创建、修改模版功能、创建公式功能、表单填写功能和数据导出功能的实现。最后本文总结了所完成的工作,展望了项目的后续工作。

论文目录

• 摘要
• Abstract
• 第一章 引言
• 1.1 项目背景
• 1.2 数据收集系统发展状况
• 1.3 数据收集系统意义
• 1.4 本文主要工作
• 1.5 本文的组织结构
• 第二章 技术综述
• 2.1 数据收集系统技术概述
• 2.2 服务器端相关技术
• 2.2.1 Django
• 2.2.2 MTV
• 2.3 浏览器端相关技术
• 2.3.1 jQuery
• 2.3.2 AJAX
• 2.4 其他相关技术
• 2.4.1 Moses
• 2.4.2 XML-RPC
• 2.4.3 INI文件
• 2.5 本章小结
• 第三章 数据收集系统的分析与设计
• 3.1 项目总体目标
• 3.2 系统需求分析
• 3.2.1 系统功能需求
• 3.2.2 系统边界
• 3.3 系统总体设计和部分模块设计
• 3.3.1 总体设计
• 3.3.2 模版设计
• 3.3.3 公式设计
• 3.3.4 模版管理模块设计
• 3.3.5 公式管理模块设计
• 3.3.6 数据管理模块设计
• 3.4 数据库设计
• 3.4.1 数据库分析
• 3.4.2 数据库概念结构设计
• 3.4.3 逻辑结构设计
• 3.5 本章小结
• 第四章 数据收集系统的主要技术实现
• 4.1 创建及修改模版功能的实现
• 4.2 创建公式功能的实现
• 4.3 表单填写功能的实现
• 4.4 导出数据功能的实现
• 4.5 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 进一步工作展望
• 参考文献
• 致谢
• 参与项目