面向SNS的社会网络数据抓取与经验性分析

论文摘要

随着万维网的迅速发展,蕴含的社会网络数据迅速膨胀,其结构异常复杂,人们很难通过数字、表格或文字的方式对没有进行处理的海量数据进行分析、表示和管理,社会网络所包含的丰富信息资源难以被发现和有效利用。本论文对照片共享网站Flickr进行结构考察、抓取社会网络用户关系数据集,并对抓取的社会网络数据集进行出入度分析,在SQL Server 2005数据库管理平台上,通过SQL编程对社会网络数据集进行了压缩,再以给定用户作为中心节点提取周边的局部社会网络,并根据局部社会网络中用户节点度数选取关键的网络节点,通过查找最短路径将中心节点与关键节点连接起来,最终得到了三个矩阵形式表示的关键社会网络,设计了按照“同心圆”的模式围绕中心节点对关键社会网络进行了初始布点的相关算法,并基于Matlab平台设计和实现了布点算法,对提取的关键网络结构进行了可视化展示。通过对社会网络数据集的研究,本文得出社交网络Flickr具有复杂网络的无标度特征,并提出了基于SQL编程的社会网络数据集压缩方案,此方案提高了社会网络数据集压缩的效率。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景
• 1.2 国内外研究现状
• 1.3 研究内容、方法、手段及论文组织结构
• 1.3.1 研究内容
• 1.3.2 研究方法及手段
• 1.3.3 论文的组织结构
• 1.4 预期成果
• 第二章 社会网络数据抓取、压缩与可视化
• 2.1 数据抓取技术
• 2.2 数据压缩技术
• 2.2.1 压缩与可视化的关系
• 2.2.2 压缩算法的概述
• 2.3 可视化作图技术
• 2.3.1 作图算法的要求
• 2.3.2 作图算法的思想
• 2.4 小结
• 第三章 Flickr网站数据的抓取及度数分析
• 3.1 Flickr网站
• 3.1.1 网站简介
• 3.1.2 网站总体结构
• 3.2 数据抓取开发环境及整体思路
• 3.3 程序架构设计
• 3.3.1 基于MFC的程序架构设计
• 3.3.2 具体实现
• 3.4 Flickr网用户度数分析
• 3.4.1 社会网络用户度数
• 3.4.2 无标度网络及数据集
• 3.4.3 Flickr用户出入度数分析
• 3.5 小结
• 第四章 社会网络数据集压缩及关键网络的生成
• 4.1 社会网络数据集压缩和关键网络生成思路及方案
• 4.1.1 总体压缩和关键网络生成的思路
• 4.1.2 总体压缩和关键网络生成的方案
• 4.2 提取给定用户周边局部网络
• 4.2.1 关键表设计
• 4.2.2 提取周边好友节点
• 4.2.3 提取好友的出入度
• 4.2.4 结果数据分析
• 4.3 选取关键节点
• 4.4 关键网络的生成
• 4.4.1 最短路径算法的概述
• 4.4.2 最短路径算法的实现
• 4.4.3 关键网络节点的关系矩阵
• 4.4.4 关系矩阵的结果展示
• 4.5 小结
• 第五章 社会网络数据可视化
• 5.1 总体思路
• 5.2 初始布点
• 5.3 社会网络可视化布点算法
• 5.3.1 社会网络可视化布点算法思路
• 5.3.2 社会网络可视化布点算法伪代码
• 5.4 二维Matlab实现及结果
• 5.4.1 二维Matlab实现的核心代码
• 5.4.2 二维结果图展示
• 5.5 基于Matlab的辅助点展示
• 5.5.1 扩展研究的意义及算法概述
• 5.5.2 MATLAB实现示例及结果
• 5.6 小结
• 结论与展望
• 参考文献
• 致谢