网络信息采集处理平台的研究

论文摘要

摘要:随着社会信息化的迅猛发展,网络已经成为人们获取信息的重要来源。而网络信息具有海量,复杂,非结构化等特点,为网络信息的获取以及基于网络信息搜集的分析与研究工作都带来了很大困难。网络信息采集处理平台整合了网络信息获取及处理中的各项关键技术,实现了将复杂、非结构化的网络信息进行整理以及结构化存储的功能。本文综合介绍了B/S架构的网络信息采集处理平台设计,构建与实现技术,合理地设计了一整套具有创新性的用于信息采集和信息处理的技术方案。系统描述了方案中的各实现环节,具有针对性地解决了网络信息采集处理平台中的由网络信息数据特性所带来的难题。本文的主要创新点及研究工作包括:一、将网页URL分析和匹配技术引入网络信息处理设计方案中,在基于网页解析模板进行网页解析及网页信息抽取时,用于辅助网页筛选、网站识别、解析模板选择和网页之间联系的发掘,优化了网络信息处理模块设计,改善了信息处理效率和准确度;二、创新性地提出了基于哈希函数的“抽象特征码比较法”,用于识别重复网络信息数据,避免由页面二次解析带来的重复数据存入数据库,通过相关实验及实验结果分析,验证了该方法对于海量网络信息数据存储效率有较大程度优化。三、在对Nutch爬虫系统进行深入研究的基础上,改进Nutch爬虫系统,进行多线程封装和配置接口设计,实现了分布,可灵活配置的信息采集模块。基于以上研究成果,本文规划了网络信息采集处理平台的总体框架结构,设计了系统功能模块逻辑,数据库结构和用户界面;应用新型GWT(Google WebToolkit)工具开发了交互性良好的用户界面;引入多线程技术对平台的信息处理效率进行优化,并通过相关实验加以验证。最终实现了一套运行稳定,效率优良的网络信息采集处理平台。

论文目录

• 致谢
• 中文摘要
• ABSTRACT
• 1 引言
• 1.1 网络信息采集处理平台研究背景及意义
• 1.2 网络信息采集处理平台国内外研究现状
• 1.3 论文结构和完成的工作
• 2 相关技术介绍
• 2.1 网络爬虫技术介绍
• 2.1.1 通用爬虫与聚焦爬虫
• 2.1.2 Nutch中的爬虫
• 2.2 B/S网络应用信息系统结构
• 2.2.1 传统C/S软件架构及其缺陷
• 2.2.2 B/S网络应用框架及其优点
• 2.3 AJAX与Google Web Toolkit（GWT）技术介绍
• 2.3.1 Ajax与Ajax开发技术介绍
• 2.3.2 Google Web Toolkit（GWT）
• 2.4 本章小结
• 3 网络信息采集处理平台功能介绍及设计
• 3.1 平台功能介绍
• 3.1.1 网络信息采集功能介绍
• 3.1.2 网络信息处理功能介绍
• 3.2 系统设计
• 3.2.1 系统总体设计与模块划分
• 3.2.2 系统逻辑设计
• 3.2.3 系统数据库设计
• 3.2.4 系统界面设计
• 3.3 本章小结
• 4 网络信息采集处理平台中的关键技术及实现
• 4.1 基于Nutch的改进网络爬虫设计及其实现
• 4.2 网页信息抽取技术及其实现
• 4.2.1 网页信息抽取技术概述
• 4.2.2 URL分析技术在网页信息抽取中的应用
• 4.2.3 基于模板的网页信息抽取技术的实现
• 4.2.4 网页信息处理模块程序的实现
• 4.3 基于GWT的Web系统开发技术及实现
• 4.3.1 基于GWT与GWT-EXT的客户端Web程序构建
• 4.3.2 远程过程调用（RPC）的实现
• 4.4 海量网络信息数据存取优化技术
• 4.4.1 网络信息采集处理平台数据要求
• 4.4.2 基于哈希函数的"抽象特征码比较法"对数据存取的优化
• 4.4.3 优化效果实验及结果分析
• 4.5 基于多线程的系统效率优化
• 4.5.1 Java多线程
• 4.5.2 系统单线程存在的效率问题
• 4.5.3 系统多线程优化方案
• 4.5.4 多线程优化效果实验及结果分析
• 4.6 本章小结
• 5 结论及展望
• 5.1 结论
• 5.2 展望
• 参考文献
• 作者简历
• 学位论文数据集