基于主题相关博客的属性挖掘模型设计

论文摘要

主题相关博客就是在博客圈中围绕某个专一主题发表文章的博客。随着博客的盛行,博客圈里的内容是五花八门,人们已经不仅仅局限于检索到与主题相关的博客,而是希望在此基础上检索出符合某些特定属性的博客,比如具有情感倾向性的博客、具有高可信度作者的博客、具有某一种写作风格或某种体裁的博客等等。归结起来就是人们希望检索到高质量的并且基本上围绕某一感兴趣主题的博客。基于这种需求,本文重点研究了主题相关博客精选算法和博客属性挖掘算法,其主要的创新工作和成果如下：1)设计并实现了一组基于博文相似度均值的精选实验,并结合博文的召回率-精确率分布曲线,在不浪费系统资源的前提下计算获得最高精确率的最小召回文档数,极大地提高了计算的效率与准确度。同时,该实验方案在2009年TREC全球Blog评测任务中获得了单项指标第一的成绩。2)本文设计并实现了三个挖掘博客属性的模型,其中采用基于分类器的最大熵模型来区分博客的事实与情感属性,利用斯坦福命名实体工具识别出博客中的命名实体,然后利用实体出现的位置来预测博客的官方与私人的属性,利用博文的长度、平均长度、表征相关性的特征如词频,查询频率共同构建了一个系数L-Qtf来预测博客的深浅属性。这些模型在博客评测中有取得了优异的成绩。3)在判别博客官方与私人的属性时,我们把它当做一个二分类问题来做对比实验,并采用稳定性与鲁棒性高的SVM分类器进行分类,证明了由于博客特征分布的不均衡性,不能把此当做简单的分类问题来看待。另外,设计了四个对比实验验证了在判别博客深浅属性的时候,博文的长度与相关性因素同等重要。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.1.1 互联网的发展与Blog的兴起
• 1.1.2 基于Blog的搜索研究
• 1.1.3 TREC博客评测任务
• 1.2 本文的工作内容
• 1.3 本文的组织
• 第二章 主题相关博客属性挖掘技术的研究现状
• 2.1 前言
• 2.2 Blog精选任务中的主题选取
• 2.3 检索系统的评估体系
• 2.4 精选博文属性挖掘的解决方案
• 2.4.1 博客检索技术概况
• 2.4.2 TREC2009中的三个最佳主题相关博客属性挖掘方案
• 第三章 博客数据的前期预处理
• 3.1 查询话题
• 3.2 博客圈的结构
• 3.3 数据集的构建
• 3.3.1 博客选择
• 3.3.2 博客抓取
• 3.3.3 组织数据
• 3.4 检索结果的精确性评价标准
• 3.5 实验辅助工具包
• 3.5.1 斯坦福命名实体工具
• 3.5.2 Indri
• 3.6 预处理
• 3.7 查询扩展
• 3.7.1 局部查询扩展技术
• 3.7.2 全局查询扩展技术
• 3.7.3 本文模型所采用的查询扩展方法
• 第四章 主题相关博客的精选设计
• 4.1 前言
• 4.2 博客精选实验设计
• 4.2.1 精选实验A
• 4.2.2 精选实验B
• 4.2.3 精选实验C
• 4.3 主题相关博客精选设计
• 第五章 基于主题相关博客的属性挖掘模型设计
• 5.1 前言
• 5.2 博客属性挖掘模型
• 5.2.1 情感与事实属性判断模型
• 5.2.2 官方与私人属性判断模型
• 5.2.3 博客深浅属性判断模型
• 第六章 总结与展望
• 6.1 本文工作总结
• 6.2 作展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录