面向主题的中文文本观点检索研究

论文摘要

随着互联网的迅速发展和广泛普及,在很大程度上改变了人们的生活方式,人们不仅被动接受信息,还能与外界进行交互。互联网逐渐成为一种交互式媒体,更多的人通过博客B、BS等网络媒介记录自己的心情,发表对各种事物的评论。如何从互联网的海量数据中高效快捷地识别并抽取到针对某一实体的评论性信息至关重要。观点检索,是指利用信息检索与情感分析等技术,寻找针对主题的观点评论等信息。是主题检索与倾向型分析相结合的工作。观点检索的研究已经成为国际上研究的一大热点。中文文本观点检索的目标是互联网用户发表的带有情感倾向的评论信息,这些信息不论对于普通的网络用户,还是对于产品生产商以及其他组织机构等都有很重要的价值。如政府需要了解网络舆情;商家不仅需要了解对于自己产品的评价,也需要掌握有关竞争对手产品性能的反馈;而潜在购买者则希望从已经存在的评价中得到参考和建议。因此,观点检索具有很高的研究价值和应用价值。本文在研究了信息检索理论与文本倾向性分析技术等的基础上,结合国内外关于观点检索的相关研究,提出了基于关联度的文本观点检索算法,该算法综合考虑了观点检索过程中查询扩展,文本相关度计算,文本倾向性分析等过程对观点检索最后结果的影响,从理论上解决了观点检索中不同因素之间相互影响的问题。此外,本文讨论了目前常用于英文文本观点检索的一些方法,将其应用于中文中,并讨论了不同参数,不同资源下上述算法的效果。在阐述上述算法的过程中,本文研究了查询扩展算法,情感词词典构造方法等。此外,本文分别使用文本分类和基于情感词词汇的细颗粒度的方法对观点检索返回的文本进行倾向性分析。最后,本文对上述各种方法一一进行实验,通过实验,验证了上述各方法的效果,实验所得结果证明,本文提出的基于关联度的观点检索算法可以取得较好的效果,从而证明了该方法具有可行性和有效性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 本文主要研究内容及创新点
• 1.3 文章结构
• 第二章 相关研究工作
• 2.1 观点检索
• 2.2 倾向性分析
• 2.3 相关评测
• 2.3.1 TREC博客倾向性检索
• 2.3.2 中文文本倾向性分析评测
• 2.4 本章小结
• 第三章 主题检索
• 3.1 主题检索算法与模型
• 3.1.1 布尔模型
• 3.1.2 向量空间模型
• 3.1.3 概率检索模型
• 3.1.4 语言模型
• 3.2 查询扩展
• 3.2.1 查询扩展的意义
• 3.2.2 基于伪反馈与外部资源像结合的查询扩展
• 3.3 实验与结果分析
• 3.4 本章小结
• 第四章 基于线性拟合模型的观点检索
• 4.1 主题检索
• 4.2 情感分析
• 4.3 实验
• 4.4 本章小结
• 第五章 基于生成模型的观点检索
• 5.1 原理与模型介绍
• 5.2 算法实现
• 5.2.1 主题相关检索
• 5.2.2 文本情感计算
• 5.2.3 基于生成模型的观点检索的排序函数
• 5.3 实验
• 5.3.1 不同情感词词典下的检索效果
• 5.3.2 不同主题检索公式下的效果
• 5.3.3 不同窗口大小的检索效果
• 5.3.4 不同拟合模型的比较
• 5.4 本章小结
• 第六章 基于关联度的观点检索
• 6.1 基于关联度的观点检索算法
• 6.2 算法的实现
• 6.2.1 查询主题与扩展主题关联度的计算
• 6.2.2 每个查询词与文本关联度的计算
• 6.2.3 文本情感词情感的计算
• 6.2.4 情感与主题的关联度的计算
• 6.3 实验
• 6.3.1 不同情感词词典的检索效果
• 6.3.2 不同文本检索算法的检索效果5
• 6.3.3 不同观点检索方法的比较
• 6.4 本章小结
• 第七章 文本倾向性分析
• 7.1 基于支持向量机的文本倾向性分类
• 7.1.1 支持向量机介绍
• 7.1.2 基于SVM的文本倾向性分类
• 7.2 基于细颗粒度的倾向性判别
• 7.2.2 极性词词典的构造
• 7.2.2.1 知网介绍
• 7.2.2.2 利用义原构造词典
• 7.2.3 基于细颗粒度的文本倾向性分析算法
• 7.2.3.1 工具选用
• 7.2.3.2 基于词汇的倾向性分析
• 7.3 实验与分析
• 7.4 本章小结
• 第八章 总结与展望
• 8.1 本文的工作总结
• 8.2 未来的工作展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文