网络舆情信息采集系统的设计与实现

论文摘要

舆论是指在一定的社会空间内,随着某一事件现象的发生、发展、变化,民众对该事件的态度。舆情是舆论的放大体,指民众对社会现象的看法、想法态度及意见的总和,也是民众的社会政治态度对执政者决策行为有影响和指导作用的那一部分。随着互联网的发展,作为继报纸、广播、电视三大传统媒体之后的第四媒体,网络的特殊作用日益显现,网络舆论逐渐成为社会舆论的发源地和放大器。在互联网时代,网络舆情作为社会舆情的网络反映,成为社会舆情的最主要的构成之一。如何正确引导网络舆情,避免不良态势的蔓延,这些给执政党和各级政府带来了前所未有的挑战。为了合理引导民众对热点社会问题的关注,需要有效提高网络舆情监控的能力。为了对互联网上的舆情信息进行有效管控,首先就要获取重要网络媒体的发布信息,即对互联网上发布的舆情信息进行信息采集。然而由于网络信息的形式多样,涉及到的信息量极其庞大,各种网络舆情信息的来源也不尽相同,传统的收集分析机制很难有效的完成舆情采集工作,因此必须构建一个高效的舆情收集信息系统来完成这样的工作。这是基于这样的背景,本文将理论研究与实证研究相结合,首先研究了网络舆情构成和特征,结合当前国内互联网应用的实际情况,认为网络舆情信息采集的信息来源主要是各大论坛、网络社区和网民博客等能够集中反映公众对某一具体议题的情绪、意愿、态度和意见的地方。然后研究和比较了当前适用于网络舆情信息定向采集的各种理论、技术和信息采集方案,提出了通过通用搜索引擎和网络爬虫相结合的网络舆情信息采集模型,以满足对各种层次的网络舆情的采集需求。为了保证系统的实时性和减少数据的冗余度,研究了网络爬虫的搜索策略、重新访问策略和礼貌策略,提出通过采取正则表达式过滤的方式,淘汰网络爬虫爬行过程中不符合要求的URL,防止系统偏离目标站点并收集多余数据。最后,本文从舆情网络信息采集和分析的需求出发,开发了网络舆情信息采集系统,实现了从URL抓取、网页源文件抓取、标题和正文抽取、网页去重等一系列工作流程,为今后继续对网络舆情信息的分析和处理打下了基础。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题背景和意义
• 1.2 国内外研究现状
• 1.3 研究目标和主要研究内容
• 1.4 论文的组织结构
• 第二章 网络舆情综述
• 2.1 网络舆情的界定和特征
• 2.2 网络舆情的构成要素
• 2.3 从网络舆情形成的互动性明确舆情信息采集的信息源
• 第三章 网络舆情信息采集的相关理论和技术研究
• 3.1 网络爬虫的基本概念
• 3.2 网络爬虫的爬行策略
• 3.2.1 搜索策略
• 3.2.2 重新访问策略
• 3.2.3 礼貌策略
• 3.3 元搜索引擎技术
• 第四章 系统的需求分析
• 4.1 系统的需求描述
• 4.1.1 系统需求目标
• 4.1.2 系统的最终用户
• 4.2 建立用例模型
• 4.3 系统的开发环境
• 第五章 系统的总体设计
• 5.1 系统功能描述
• 5.2 基于N 层体系的系统B/S 架构设计
• 5.3 系统的功能实现思路
• 5.4 系统功能模块划分
• 5.5 数据库系统设计
• 第六章 系统的详细设计和实现
• 6.1 网络舆情信息采集若干关键技术的实现
• 6.1.1 网络爬虫的实现
• 6.1.2 URL 去重和URL 过滤
• 6.1.3 元搜索引擎的实现
• 6.1.4 系统管理子模块的详细设计和实现
• 6.2 系统功能的实现
• 6.2.1 用户登录
• 6.2.2 用户管理
• 6.2.3 角色管理模块
• 6.2.4 用例管理
• 6.2.5 模块管理
• 6.2.6 爬虫管理
• 6.2.7 舆情管理
• 6.2.8 前台模块
• 6.3 系统的部署和测试
• 6.3.1 系统部署
• 6.3.2 系统测试
• 第七章 总结和展望
• 7.1 论文总结
• 7.2 研究展望
• 致谢
• 参考文献