多线程并行传输技术的设计与实现

论文摘要

在目前的电视制作与电视图文制作网络中,单机的使用已经非常少见了,大多数的应用全部集中在网络化的应用模式上。网络的安全性、稳定性、便捷性与高效性对节目生产与电视运营的影响非常大。对网络平台软件的现存问题的分析与研究,是改善网络化体验的一个非常有效的措施。目前的电视节目制作网络全部采用的是基于集中存储的模式。即,客户端设备通过FC或者以太网的方式直接接入一个高速的集中存储中,以纯文件共享的方式实现多个工作站的流程化制作。这种集中共享的网络存储模型一方面解决了视音频大文件的高速访问以及不同工作站中同目录、同文件的链接,另一方面也存在着很多难以解决的问题。如用户误操作、病毒感染等问题会造成集中存储中文件的丢失,影响到整个网络的安全以及正常的业务制作。为了解决可能出现的各类问题,目前的企业大多采取严格管理的方式,这就增加了管理的难度和管理者的压力。即使是这样,很多项目中还会偶尔因为软件的一些不足,造成集中文件系统的丢失,对用户的正常使用带来了不利的影响。本文通过对现有业务应用特点的分析,提出了在编辑网络中采用签入签出的文件访问方式,将文件的存储与编辑使用分层处理。用户使用的不再是集中存储共享的那个文件,而是其本机的一个副本文件,无论本地对该文件作任何的修改,甚至是破坏,都不会影响到集中存储的文件安全。只有用户确认没有问题时,手动使用签入命令时才真正实现文件的替换。这种方式既实现了文件的安全访问,也使得多个用户对同一个文件的访问和使用之间不再出现相互影响。在这种文件访问模式的设计实现中,为了提高用户对集中存储的访问效率、降低签出签入操作对系统资源的过多占用,以及对传输安全的综合考虑,本文重点对多线程并行传输做了研究和时序的设计,针对不同过程中,对CPU、磁盘IO、网络传输占用的不同特点,将串行的传输过程并行化,将不同资源占用类型的操作并行化,极大地增加了传输效率的同时,还实现了传输过程中的MD5校验问题,解决了实际应用中现有FTP传输技术的不足之处,使得系统在实际项目的使用中发挥了巨大的作用的同时,大大降低了系统的成本,增加了系统的性价比。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题背景
• 1.2 课题任务
• 1.3 论文结构
• 第二章 相关技术分析
• 2.1 版本控制技术的现状
• 2.1.1 版本控制技术
• 2.1.2 版本控制技术的应用
• 2.2 TCP/IP技术
• 2.2.1 TCP/IP技术的历史
• 2.2.2 TCP/IP协议
• 2.3 媒体网络中文件的分类
• 2.3.1 素材文件
• 2.3.2 工程文件
• 2.4 视音频网络存储共享的需求
• 2.5 视音频网络存储方式问题分析
• 2.6 本章小结
• 第三章 网络平台及存储模型的设计
• 3.1 网络平台的功能设计
• 3.1.1 协同制作
• 3.1.2 素材管理
• 3.1.3 发布管理
• 3.1.4 即时通讯
• 3.2 工程存储模型的设计
• 3.2.1 素材存储
• 3.2.2 工程存储
• 3.3 签入签出与版本归档流程设计
• 3.3.1 签出流程设计
• 3.3.2 签入流程设计
• 3.4 签入签出访问模式的优势
• 3.4.1 网络存储系统安全性提高
• 3.4.2 用户协同工作时无相互干扰
• 3.4.3 完善的版本管理机制
• 3.5 本章小结
• 第四章 TCP数据传输技术的实现
• 4.1 业务应用环境
• 4.2 FTP传输技术面临的问题
• 4.3 传输时序设计
• 4.4 共享数据缓冲区机制设计
• 4.4.1 多线程传输机制结构设计
• 4.5 文件读写线程的实现
• 4.5.1 发送端读线程的设计
• 4.5.2 接收端写线程的设计
• 4.6 MD5校验流程的实现
• 4.6.1 传输端MD5加密线程的实现
• 4.6.2 接收端MD5校验
• 4.7 数据重传控制线程
• 4.8 TCP传输线程的实现
• 4.8.1 数据块结构设计
• 4.8.2 TCP发送线程的实现
• 4.8.3 TCP接收线程的实现
• 4.9 本章小结
• 第五章 多线程传输技术在项目中的应用
• 5.1、图文与包装网络引擎COEDIT SYSTEM
• 5.1.1、产品应用范围
• 5.1.2、核心特点
• 5.1.3、CoEdit System产品典型应用
• 5.1.4、CoEdit System客户端界面介绍
• 5.2、CoEDIT SYSTEM在项目中的应用
• 5.2.1、河南电视台总控图文播出系统需求介绍
• 5.2.2、系统架构设计
• 5.2.3、系统逻辑结构设计
• 5.2.4、图文编单流程设计
• 5.2.5、系统运行现状
• 第六章 结束语
• 6.1 论文工作总结
• 6.2 问题和展望
• 参考文献
• 致谢