基于小世界模型的P2P网络文本检索

论文摘要

与集中式搜索引擎相比,构建在P2P网络上的文本检索系统在可扩展性、数据更新、维护成本和安全性等方面具有与生俱来的优势。由于P2P网络中的节点缺乏全局网络的拓扑知识,如何定位节点资源、减少网络节点之间的通信开销成为P2P网络中文本检索的核心问题。本文基于小世界模型研究了P2P网络中的文本检索问题,主要贡献如下:针对向量空间模型中文档矩阵高维稀疏的问题,提出了一个P2P网络节点文档向量降维的方法。该方法将文档中词频出现两次以上的词条作为文档的摘要信息,来表示节点文档内容,然后根据改进的STC算法为选出的词条建立了一个树状的层次结构。在计算文档向量相似度时,采用sigmoid函数为不同层次的词条赋予不同的权重。针对Gnutella网络中转发消息的泛洪问题,基于小世界模型提出了一种无结构P2P网络文本检索的方法。该方法中,P2P网络的每个节点都维护一定数量的短程连接邻居节点和长程连接邻居节点,由此来构建具有小世界特性的网络。邻居节点的更新策略是在节点的查询和应答交互过程中进行的,每次查询结束后,都会更新邻居节点文档向量中关键词的权重,使得节点能够动态地快速了解网络的拓扑情况和其他节点的文档内容。实验结果显示,与Gnutella网络相比,小世界P2P网络具有更大的聚类系数、较小的特征路径长度和更高的文本检索查全率。针对基于DHT技术的结构化P2P网络在不支持复杂查询、负载不平衡和路由效率低等方面的问题,根据Kleinberg小世界模型设计了一个结构化P2P网络协议(SPPSW协议)。在SPPSW协议中,内容相近的节点被划分到相同的节点类中,在节点类的内部,节点可以根据相似程度选择邻居,网络由一些相互连接节点类构成。节点类可以动态地调整节点类的大小,能够自组织地分裂、合并,节点类之间存在一些长程连接,缩短了查询路由步数。实验结果显示,随着网络规模的扩大,在SPPSW协议网络中,搜索开销呈对数平方曲线增长,维护开销呈线性增长;选择一个合适的节点类内部节点的数量,可以使得整体的网络维护开销和搜索开销最小。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 选题背景和研究意义
• 1.2 P2P网络介绍
• 1.2.1 什么是P2P
• 1.2.2 P2P网络结构
• 1.2.3 目前的P2P系统介绍
• 1.3 P2P网络文本检索及研究现状
• 1.3.1 无结构的P2P网络文本检索
• 1.3.2 结构化的P2P网络文本检索
• 1.3.3 利用数据附加说明的P2P网络文本检索
• 1.4 本文主要研究工作及创新点
• 1.5 论文结构
• 第二章 小世界理论
• 2.1 引言
• 2.2 网络的图表示
• 2.3 WS小世界模型
• 2.4 Kleinberg 小世界模型
• 2.5 本章小结
• 第三章 P2P网络节点文本处理
• 3.1 引言
• 3.2 向量空间模型
• 3.2.1 文档的向量表示
• 3.2.2 文档相似度计算
• 3.2.3 词条权重计算
• 3.3 节点文档归纳
• 3.3.1 后缀树
• 3.3.2 STC算法
• 3.3.3 STC算法的改进
• 3.4 节点相似度计算
• 3.5 实验设计
• 3.5.1 STCC算法与STC算法的比较
• 3.5.2 全文检索与节点摘要信息检索的比较
• 3.6 本章小结
• 第四章 基于小世界理论的无结构P2P网络文本检索
• 4.1 引言
• 4.2 系统结构
• 4.3 邻居节点管理
• 4.4 自适应搜索算法
• 4.4.1 消息原型
• 4.4.2 搜索算法
• 4.5 网络拓扑重构
• 4.6 实验设计
• 4.7 本章小结
• 第五章 基于小世界理论的结构化P2P网络文本检索
• 5.1 引言
• 5.2 系统结构
• 5.3 网络初始化
• 5.4 网络更新
• 5.4.1 节点加入
• 5.4.2 节点离开
• 5.4.3 节点失效
• 5.5 网络搜索
• 5.6 平均传递步数分析
• 5.7 实验设计和结果分析
• 5.7.1 实验设计
• 5.7.2 实验结果分析
• 5.8 本章小结
• 第六章 结论与展望
• 6.1 全文总结
• 6.2 未来研究展望
• 参考文献
• 发表论文和科研情况说明
• 致谢