专题式Web信息获取技术研究

论文摘要

Web信息获取存在已经有十几年的历史,近年来网络信息量飞速增长,使得传统的综合性信息获取的发展变得越来越困难,他无法及时的收集所有信息,而且由于信息数量太多,在准确率上无法满足人们的需要。固此,小型的专题信息采集成为近年的研究热点,具备了极高的研究价值。 本文论述了Web信息获取的用途、历史、现状及发展,介绍了信息获取系统的主要流程,对其中现在比较流行的主要算法进行了介绍和比较,分析了中国目前在化工专业方向的网络信息分布情况。使用Java以及SQL Server 2000数据库构建了一个专题式的Web信息获取系统,其中利用元搜索引擎的原理采用人工加机器的方式从网络上收集种子,通过提供全面、准确的网站网址,简化数据过滤的工作,并且在此基础上实现了高效、灵活的信息下载功能。对在HTML的解析,文件过滤中遇到的问题提出了解决的方法,对整个系统的性能及未来的发展提出了总结。 从最后的结果来看,这套系统的方案是行之有效的,获取到的页面质量很好。相信本课题的研究成果也能够适用于其他方向的专题信息获取。

论文目录

• 摘要
• ABSTRACT
• 符号说明
• 第一章 绪论
• 第二章 Web信息获取概述
• 2.1 Web信息获取的历史
• 2.2 搜索引擎概述
• 2.3 搜索引擎的功能结构
• 2.4 Web信息获取的类型
• 2.4.1 分类目录
• 2.4.2 机器人收集（Spider）
• 2.4.3 元搜索
• 2.5 Spider的类型
• 2.5.1 基于整个Web的信息获取
• 2.5.2 专题式Web信息获取
• 2.5.3 移动式信息获取
• 2.5.4 基于用户个性化的Web信息获取
• 2.5.5 基于Agent的信息获取
• 2.6 Web信息获取现状及发展
• 第三章 专题式Web信息获取技术及理论分析
• 3.1 Web信息获取原理
• 3.2 网络信息结构
• 3.2.1 互联网结构
• 3.2.2 网页结构
• 3.2.3 Meta标签结构
• 3.2.4 robots. txt文件规范
• 3.3 专题Web信息在网络上的分布情况
• 3.4 网页质量评估算法
• 3.4.1 基于链接结构的评估算法
• 3.4.2 基于内容相似度的评估算法
• 3.5 Spider的搜索算法
• 3.6 分布式Spider
• 3.7 自动分类技术
• 第四章 专题Web信息获取系统设计及实现
• 4.1 系统设计思路及目标
• 4.2 SQL数据库表格设计
• 4.3 种子获取器
• 4.3.1 工作原理
• 4.3.2 试验结果
• 4.4 网页下载器
• 4.4.1 页面下载及解析流程
• 4.4.2 URL的存取
• 4.4.3 网址过滤器
• 4.4.4 文件保存
• 4.5 系统中用到的主要Java技术
• 4.5.1 数据库访问
• 4.5.2 多线程技术
• 4.5.3 XML文件导出
• 4.5.4 设计模式
• 4.6 进一步的研究工作
• 第五章 总结
• 参考文献
• 附录1
• 致谢
• 攻读学位期间发表的学术论文目录