论文摘要
随着Internet的飞速发展,人们越来越依靠网络来查找他们所需要的信息。Internet的信息资源具有多样性、分布性、开放性、时效性和异构性的特点,同一主题的信息通常分散存放在不同网站上,表现的形式也各不相同。垂直搜索引擎可以将这些信息按主题进行抽取,以结构化形式存储。本文提出了一种基于网页结构特征的垂直搜索引擎模型。根据专业和行业网站的领域特点,提出相应主题的元数据统一表示标准。通过对对应网站的网页分析,依据元数据表示标准和网页结构特征,提炼出具体网站网页的信息抽取模板。垂直搜索引擎根据该信息抽取模板对目标网站进行网页爬行、页面转换、抽取数据和分离数据及保存数据。网站的信息抽取模板采用XML进行描述,对应网页结构特征。由于采用标准的XML并以文件形式存放,可以方便地在关心该网站信息的用户之间共享。根据本文提出的基于网页结构特征的垂直搜索引擎模型,我们开发了一个基于网页结构特征的垂直搜索引擎系统。整个系统以元数据模型为基础,对网站网页结构进行结构化处理,获得网页的结构化信息。基于该搜索引擎,我们开发了车货配物流等垂直搜索网站,在实践中进一步得到了检验。本文的主要工作和成果如下:1.研究基于网页结构特征的垂直搜索引擎系统的工作原理和基本系统结构通过对垂直搜索引擎技术和相关技术的研究,提出了基于网页结构特征的垂直搜索引擎工作模型,将系统处理流程主要分为:网页爬行、页面转换、抽取数据、分离数据。基于工作模型,本文提出了一个分层的系统架构。2.提出了一种针对行业网站网页信息的元数据模型本课题通过对行业信息分析,提出一种通用的和标准化的元数据模型。同时利用XML等技术实现了该模型,并根据具体网站的网页结构特征,利用XSLT技术提出了将网站网页信息转换为符合该元数据模型的数据的信息抽取模板方式。3 .实现了一个基于网页结构特征的垂直搜索引擎系统本课题根据系统模型,利用Microsoft .Net技术实现了一个基于网页结构特征的垂直搜索引擎系统。该系统采用面向接口编程,利用系统配置文件使系统具备有高可配置性和弹性。同时利用多线程技术,最大限度地利用计算机和网络资源,使系统具备有很高的工作效率。4.建立了车货配物流原型系统以本课题开发的垂直搜索引擎系统为基础,依据元数据模型,结合互联网上车货配网站,确立车货配元数据模型和信息抽取模板。利用该系统,通过对车货配网站信息的垂直搜索,获取网站的相应信息。建立一个网站原型,提供车货配垂直搜索服务,论证了系统的可行性和可用性。车货配物流信息搜索工作结果显示,基于网页结构特征的垂直搜索引擎是一种具备商业价值的垂直搜索引擎。由于该搜索引擎具有良好的通用性,将数据描述和数据处理进行抽象分离,所有的部分采用组件构建,将其应用于其他专业或行业中,也将会带来很大的商机机会和社会效益。