搜索引擎个性化检索及用户推荐功能的设计与实现

论文摘要

随着互联网技术的飞速发展,网上信息量剧增,人们从海量信息中挖掘出可用信息日益困难。目前人们采用搜索引擎的方式在互联网上检索信息,传统搜索引擎,如国外的Google,yahoo,国内的百度,天网等,都迅速发展起来。截止2010年6月,中国网民数量增长到4亿,网民中使用搜索引擎的比率大于百分之七十,国外的搜索引擎使用比率更高,因此搜索引擎的市场前景看好。然而通用搜索引擎的结果面向大多数用户,当检索词相同时,返回给用户的结果一致。事实上,随着年龄,性别,学历,专业等的不同,不同用户对同一检索词的兴趣点不一致。个性化搜索引擎试图通过分析文档结构、用户浏览行为信息及用户对文档的评价信息,建立用户的兴趣模型,指导搜索引擎的查询结果以及结果排序,力图满足每个用户的需求。本文主要实现了搜索引擎中的三个功能:1、中文分词技术。2、实现了用户推荐功能。3、实现了个性化检索,对相同查询词根据用户兴趣不同返回更适合用户兴趣点的结果。中文分词是自然语言处理的范畴,是搜索引擎查询和建立索引的基础。目前中文分词算法比较常用的有基于词典的分词算法,基于统计的分词算法和基于规则的分词算法。基于词典的分词算法设计思想简单,为大多数程序员所使用。但是中文分词存在两大难点问题,歧义的消除和未登录词的识别。经过众多学者的努力,目前仍未完美的解决此问题。本文的分词算法,对原有分词算法做了部分改进,提高了分词的精度。在用户使用搜索引擎检索的过程中,查询词是用户与搜索引擎交互的唯一手段。查询词的准确与否直接关系到用户检索结果的精度。然而大多数用户不能准确描述自己所遇到的问题,因此会影响到返回的结果。用户推荐的出现很好的解决了这一问题,当用户输入查询限制时,先通过中文分词技术把字符串切割成词语,然后根据关联规则给用户推荐返回更多具有语义相关性的查询结果,供用户选择或者参考。个性化检索是指通过挖掘用户兴趣信息,建立合理的模型来表示、管理用户兴趣,并通过不断更新与维护,逐步优化模型,使其能准确反映用户的兴趣需求,为后续搜索工作提供个性化的分析依据。其包括用户所搜索的关键词,对搜索结果的点击,各个网站浏览行为,书签情况等。搜索引擎掌握了这些用户资料后进行分析,在用户搜索新的关键词时,能返回更有针对性的搜索结果,从而提高用户体验。论文创新点在于:1)设计了自己的中文分词核心词典,其包括常用汉语词语119803条,计算机术语1015条。新词词典是通过计算机程序的主动学习,不断加入未登录词,新词。新词词典用于存放切分词语时出现的未登录词和歧义词,在分词结束时对主要词典进行扩充。本文实现的中文分词提高了现有分词算法的精度。2)在基于通用搜索引擎实现技术的基础上,加入用户兴趣模型,实现了个性化检索技术。用户兴趣模型的建立,是通过web日志挖掘技术,挖掘用户的历史浏览记录和浏览行为,基于群体环境,找到相似用户,利用相似用户的检索结果或者相似用户的兴趣,来扩展所处理信息的广度和精度。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究的背景与意义
• 1.2 国内外研究现状
• 1.3 搜索引擎的关键技术
• 1.4 本文研究的主要内容及意义
• 1.5 全文组织结构
• 1.6 本章小结
• 第二章 中文分词技术
• 2.1 中文分词概述
• 2.2 中文分词的难点
• 2.3 三种传统分词方法
• 2.3.1 基于词典的分词算法
• 2.3.2 基于统计的分词算法
• 2.3.3 基于规则的分词算法
• 2.4 词典的建立
• 2.5 停用词过滤
• 2.6 分词算法的设计
• 2.6.1 常用双向最大匹配法
• 2.6.2 优化的双向最大匹配算法
• 2.6.3 工作流程图
• 2.7 歧义消除
• 2.7.1 歧义的产生
• 2.7.2 歧义消除
• 2.8 实验结果
• 2.9 实验分析
• 2.10 本章小结
• 第三章 用户推荐
• 3.1 用户推荐概述
• 3.2 Ajax 技术
• 3.2.1 Ajax 原理
• 3.2.2 Ajax 核心技术
• 3.2.3 Ajax 的优势
• 3.3 用户推荐功能
• 3.3.1 设计思想
• 3.3.2 关键词智能扩展的实现
• 3.3.3 工作流程图
• 3.4 本部分结果及分析
• 3.5 本章小结
• 第四章 个性化检索技术
• 4.1 个性化检索概述
• 4.2 Lucene 技术
• 4.3 个性化检索的几个前提假设
• 4.4 若干关键技术
• 4.4.1 用户接口
• 4.4.2 网页搜集
• 4.4.3 索引
• 4.4.4 检索
• 4.4.5 web 挖掘技术
• 4.5 用户兴趣模型
• 4.5.1 用户建模技术
• 4.5.2 用户模型的表示
• 4.5.3 用户兴趣模型的更新
• 4.5.4 兴趣模型的存储
• 4.6 本章小结
• 第五章 系统的设计与实现
• 5.1 系统的开发环境
• 5.2 索引的建立
• 5.3 用户界面
• 5.4 用户推荐技术
• 5.5 中文分词
• 5.6 用户注册
• 5.7 检索
• 5.8 个性化搜索引擎
• 5.9 实验分析
• 5.10 本章小结
• 第六章 总结与展望
• 6.1 总结
• 6.2 存在的问题及展望
• 致谢
• 参考文献
• 在学期间发表的论著及取得的科研成果