基于体裁的中文网页分类

论文摘要

随着通讯及网络技术的发展,人们已经从信息缺乏的时代过渡到信息极为丰富的数字化的时代。以文本格式存储的信息资源的激增,增加了对于快速、自动文本分类的迫切需求。然而,目前大部分文本自动分类的研究都是基于内容的,没有考虑文章的功能及形式结构上的特点,在某些方面并不满足人们的需求。而基于体裁的文本分类的研究,在对信息资源进行有效的管理和检索等方面,都有一定的积极作用。本文探讨了中文网页的体裁分类问题,主要的研究内容包括:(1)中文网页体裁分类的特征项选取问题。传统的文本内容分类仅以词语作为特征项,而由于语言表达方式的差异,英文体裁分类关于特征项选取的相关研究并不完全适用于中文。本文主要研究区分不同体裁的各种特征;提出了用模糊字符串模式表示不同体裁用语特点的特征;结合自动抽取方法和人工归纳的方式来获得表示特征的模糊字符串模式。实现方法上,摆脱了传统的文本分类对切分词处理和词典的依赖,通过改进PAT树(Patricia Tree)的存储结构,对文本进行序列模式挖掘来获得候选特征项,克服了传统方法中的词库更新问题及切分词处理对新词语、英文短语提取效果不佳等的缺陷。(2)特征项的权重计算问题。基于体裁分类多种特征集的特点,探讨不同特征空间对体裁类别的判别能力问题,提出了一种评价方法;据此,提出特征项的权值调整策略,即根据不同特征空间对体裁类别判别能力的强弱,对文本在不同特征空间的特征项权值进行调整。(3)分类方法。引入文本的关联分类规则挖掘,结合关联规则分类对SVM (Support Vector Machines)分类器的分类性能进行修正。讨论了关联规则的挖掘、优化以及分类器的组合问题,提出了改进了规则的优化策略及算法。相关实验结果表明,本文的特征项选取方法总体上来说是可行的,模糊字符串模式特征的引入,也有利于改进某些体裁类别的分类效果。此外,提出的特征空间对体裁类别的判别能力的评价方法符合经验知识,权值的调整策略也提高了分类器的整体性能。关联规则对于SVM分类器的辅助修正在总体上有所帮助,但并非十分明显。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 研究背景与意义
• 1.2 文本分类概述
• 1.2.1 文本分类的定义
• 1.2.2 文本分类过程简介
• 1.2.3 文本体裁分类概述
• 1.3 国内外研究现状
• 1.4 论文的主要工作与研究内容
• 1.4.1 论文的主要工作
• 1.4.2 论文的研究特色和创新说明
• 1.4.3 论文的组织结构
• 第二章 网页文本的特征表示
• 2.1 网页文本预处理
• 2.1.1 网页信息表示分析
• 2.1.2 网页预处理流程
• 2.2 特征项的选取
• 2.2.1 频繁字符串特征
• 2.2.1.1 传统的自动分词技术
• 2.2.1.2 基于序列挖掘的频繁字符串抽取
• 2.2.1.3 低频高权字符串特征的获取
• 2.2.2 模糊字符串模式特征
• 2.2.3 平均段长、平均句长
• 2.2.4 网页的链接结构信息
• 2.3 特征项的权重计算问题
• 2.3.1 初始权重的计算
• 2.3.2 基于特征空间区分能力的权值调整策略
• 2.3.2.1 特征空间对不同体裁类别的区分能力
• 2.3.2.2 样本的权值调整
• 2.4 特征选择方法
• 2.4.1 文本频率DF
• 2.4.2 信息增益IG
• 2.4.3 互信息MI
• 2 统计法'>2.4.4 χ²统计法
• 第三章 文本分类和评估方法
• 3.1 分类算法介绍
• 3.1.1 中心向量比较法（Rocchio）
• 3.1.2 K 近邻法（K-Nearest Neighbor，KNN）
• 3.1.3 朴素贝叶斯算法（Na（?）ve Bayes，NB）
• 3.1.4 支持向量机（Support Vector Machines，SVM）
• 3.1.4.1 支持向量机基本原理
• 3.1.4.2 SVM 多类分类方法
• 3.2 一种SVM 与关联规则相结合的分类器SVMAR
• 3.2.1 关联规则分类
• 3.2.1.1 关联规则的挖掘
• 3.2.1.2 关联规则的优化
• 3.2.1.3 利用关联规则进行分类
• 3.2.2 SVM 和关联规则分类器的组合――SVMAR
• 3.2.2.1 分类结果的相关性分析
• 3.2.2.2 候选类别权值的确定
• 3.2.2.3 分类器的组合
• 3.3 评估方法
• 3.3.1 准确率、查全率和F1 值
• 3.3.2 宏平均和微平均
• 第四章 系统的设计实现与实验分析
• 4.1 系统功能结构设计
• 4.2 部分功能模块处理流程说明
• 4.3 实验结果及性能评价
• 4.3.1 数据集
• 4.3.2 实验环境及开源项目说明
• 4.3.3 实验结果分析
• 4.3.3.1 特征项选取实验
• 4.3.3.2 特征权值调整实验
• 4.3.3.3 SVM 与 SVMAR 分类效果比较实验
• 4.3.3.4 实验总结
• 第五章 结论与展望
• 5.1 总结
• 5.2 进一步工作展望
• 参考文献
• 攻读硕士期间参加的课题和发表的论文
• 致谢