基于Agent的元搜索引擎检索结果优化研究

论文摘要

目前所有的搜索引擎中,没有一个能够访问全部的www资源,大多数的搜索引擎都只能覆盖整个网络资源的一小部分。由于各类搜索引擎的信息来源差异较大,因此集成多个搜索引擎而产生的元搜索引擎应运而生,它具有比传统搜索引擎覆盖信息全面、检索效果更好以及可扩展性强等优点。其中如何对各个成员搜索引擎返回的结果进行相关性排序是提高元搜索引擎效率的关键技术。搜索引擎返回的结果太多且不能根据用户的兴趣提供检索结果是当前倍受关注的问题。通过对网页文本聚类技术的研究,以概念提取为目标,提出了一种基于中频词的实时网页聚类策略。与传统的聚类方法不同,该算法将文档聚类和主题描述统一起来,具有复杂度低、灵活性高的特点。在分析目前已有的结果合成算法的基础上,提出了一种从用户浏览行为到用户兴趣的映射算法,并结合用户兴趣对主题敏感页面等级算法进行改进,实现了对检索结果的个性化排序,解决了搜索引擎的查询结果规模庞大,用户又缺乏足够耐心去浏览所有结果的问题,大大提高了用户的查询质量和效率。最后在对Agent和多Agent技术研究的基础上,设计开发了一个基于Agent的元搜索引擎原型系统,提出了基于JADE平台的元搜索引擎多代理系统框架。它使用基于多Agent的体系结构来实现信息收集过程的并行、分布式处理,由系统代替用户对搜索引擎结果进行对比,并去除冗余网页,将去重后的结果重新排序后提供给用户。相对于传统的面向对象的元搜索引擎系统,该系统具有响应速度快,耦合性低的特点。

论文目录

• 中文摘要
• 英文摘要
• 第1章 前言
• 1.1 课题的研究背景及意义
• 1.2 国内外研究现状
• 1.3 课题研究的主要内容
• 1.4 论文的组织结构
• 第2章 元搜索引擎相关技术
• 2.1 元搜索引擎概述
• 2.1.1 元搜索引擎的基本概念
• 2.1.2 元搜索引擎的评价指标
• 2.1.3 国内外相关研究工作
• 2.2 Agent技术
• 2.2.1 Agent的基本概念
• 2.2.2 Multi-Agent系统
• 2.2.3 Agent技术的应用
• 2.3 Web挖掘技术
• 2.4 本章小结
• 第3章 网页文本聚类研究
• 3.1 文档的表示方法
• 3.1.1 文本的表示
• 3.1.2 特征项的选取
• 3.2 聚类分析的有关知识
• 3.3 本文采用的网页主题分类策略
• 3.3.1 文档主题词的选取
• 3.3.2 基于中频词的网页聚类算法
• 3.4 本章小结
• 第4章 元搜索引擎检索结果合成研究
• 4.1 Web链接挖掘算法
• 4.2 基于行为分析的访问网页概率计算
• 4.2.1 用户浏览行为与兴趣间的关系
• 4.2.2 用户行为数据的选取
• 4.2.3 多元线性回归方法
• 4.2.4 基于行为分析的访问网页概率计算
• 4.3 基于用户兴趣的检索结果排序算法
• 4.3.1 用户兴趣向量求解
• 4.3.2 基于用户兴趣的检索结果排序算法
• 4.4 无效链接检查
• 4.5 查询结果去重
• 4.6 本章小结
• 第5章 基于Agent的元搜索引擎原型系统设计与实现
• 5.1 系统的开发工具和平台
• 5.2 系统的结构和组织
• 5.3 选用JADE代理开发平台
• 5.4 数据库结构说明
• 5.5 主要Agent的设计与实现
• 5.6 实验结果分析
• 5.6.1 实验过程
• 5.6.2 相关页面示意图
• 5.6.3 效果评价
• 5.7 本章小结
• 第6章 总结与展望
• 6.1 主要工作
• 6.2 主要创新点
• 6.3 进一步的工作
• 参考文献
• 致谢
• 个人简历和在学期间的研究成果