基于移动Agent的主题搜索引擎研究

论文摘要

由于Web上海量的信息处于不断的变化中,通用搜索引擎己经很难再为用户提供一个全面并且更新及时的信息搜索服务,其局限性在于它试图索引全部Web并且试图服务于所有主题的查询请求。而主题搜索引擎只覆盖与特定主题相关的Web区域,这样它搜索的可以更深,搜索的周期可以更短,因此能满足用户对获取信息资源快速、准确的性能要求。目前,对主题搜索引擎的研究正处于十分活跃的阶段。Internet已经成为目前世界上最大的信息资源库,但是网上信息资源纷繁芜杂,如何满足人们对快速、准确而全面获取信息的要求,已经成为摆在人们面前的一大难题。本文首先分析了搜索引擎的发展状况,阐述了搜索引擎各主要部分的工作原理,在此基础之上,探讨了主题搜索引擎的研究背景,分析了主题型Web搜索研究兴起的原因,及其潜在的研究价值,通过阅读文献,给出了一些比较有代表性的系统的描述。详尽地分析了主题搜索中的几个关键技术,包括主题概念定义、主题资源发现技术,主题爬行器的构造、主题爬行的启发策略及其算法实现。在分析主题搜索引擎页面爬行特点的基础之上,结合Agent技术的相关知识,提出了使用移动Agent进行主题信息收集的方法,分析了采用这种方法能带来的潜在的爬行效率的提升,尤其是网络带宽资源占用情况方面的改善,给出了一个基于移动Agent的主题搜索引擎系统原型,并描述了各个部分的主要功能,并对其中的几个关键部分给出了具体实现的方法,包括:主题特征的提取、移动Agent的系统框架、移动Agent的具体工作过程、主题页面的采集与内容解析和主题相关度的计算等。最后,在IBM aglets平台上设计并实现了一个基于移动Agent的主题信息爬行器,并通过实验,对比分析了基于移动Agent的主题页面爬行方式与以往工作方式的性能效率差异。结果表明,此种方法能有效减少传统方法下获取页面时,无关信息造成的网络负载,提高主题信息的获取效率。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 研究现状概述
• 1.3 本文各章内容安排
• 第二章 搜索引擎概述
• 2.1 搜索引擎简介及其发展历史
• 2.2 搜索引擎的分类
• 2.3 搜索引擎工作的基本原理
• 第三章 主题搜索引擎
• 3.1 主题搜索引擎简介
• 3.2 主题搜索引擎与通用搜索引擎的比较
• 3.3 面向主题的网络机器人
• 3.4 主题机器人的结构
• 3.5 主题机器人启发策略
• 3.6 主题搜索中的隧道穿越技术
• 3.7 主题资源发现技术
• 3.8 用户主题的描述和网页分类器的设计
• 第四章 Agent 技术及移动Agent 开发平台
• 4.1 Agent 的定义
• 4.2 Agent 的分类
• 4.3 移动Agent 技术及其特点
• 4.4 移动Agent 系统的介绍
• 4.4.1 Java 可移动Agent 系统
• 4.4.2 相关技术
• 4.4.3 可以解决的问题
• 4.4.4 几个典型系统的比较
• 第五章 基于移动Agent 的主题搜索引擎
• 5.1 基于移动Agent 主题搜索的提出
• 5.2 基于移动Agent 主题搜索概述
• 5.3 基于移动Agent 的主题搜索引擎总体结构图
• 5.4 各模块功能描述
• 5.5 各部分的具体实现
• 5.5.1 主题定义模板
• 5.5.2 Agent 运行平台及其工作方式
• 5.5.3 主题信息搜索Agent 的构造及工作过程
• 5.5.4 主题页面的采集与分析
• 5.5.5 页面信息获取过程
• 5.5.6 对URL 的搜索策略
• 5.5.7 Web 页面内容的解析和数据的分析与过滤
• 5.5.8 URL 主题相关度的计算
• 5.5.9 主题的确立
• 第六章 实验分析及进一步的工作
• 6.1 Tahiti 平台上Aglets 的运行
• 6.2 主题特征的构造
• 6.3 实验结果的分析
• 6.4 进一步的工作
• 结论
• 参考文献
• 致谢
• 附录A 攻读学位期间所发表的学术论文
• 附录B 部分算法代码