特征选择的信息论算法研究

论文题目: 特征选择的信息论算法研究

论文类型: 硕士论文

论文专业: 信号与信息处理

作者: 杨打生

导师: 郭延芬

关键词: 模式识别,特征选择,信息熵,互信息

文献来源: 东南大学

发表年度: 2005

论文摘要: 模式识别是信号与信息处理的一个重要应用领域,随着人工智能在50年代的兴起,模式识别的发展更为迅速,应用更为广泛。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视,推动了人工智能的发展,扩大了计算机应用的领域。模式识别就是在面对某一具体事物时将其正确地归入某一类别。基于统计方法的模式识别系统主要由数据获取、预处理、特征提取和选择、分类决策四部分组成。特征选择在模式识别中起非常重要的作用。通过特征提取得到的输入特征数据量很大,直接用于分类需要很大的运算量,降低了模式识别的实时性。特征选择的研究任务就是寻找一种好的算法,以便在允许的时间内找出对分类最有效的一组特征。现在已经有许多优秀的特征选择算法,如最优搜索算法——分支定界算法,次优搜索算法,模拟退火算法,Tubu搜索算法,遗传算法,Taguch实验法等。用信息论的方法进行特征选择是近年来提出的一种新方法。用信息论算法进行特征选择要同时考虑各输入特征对分类类别的重要性和各输入特征之间的相关性,用输入特征和分类类别的互信息反映该输入特征对分类的重要性,用输入特征之间的互信息反映输入特征之间的冗余性,特征选择的任务就可描述为:寻找和输出类别互信息大而和其它输入特征互信息小的一组输入特征。本文在研究这种新算法的基础上,提出一种新的算法,并将其应用于几个典型的分类识别问题,实验证明,这种算法确实有较好的特征选择性能。

论文目录:

中文摘要

英文摘要

第一章 前言

第二章 特征选择信息论算法回顾

2.1 信息论的几个基本概念

2.1.1 信息

2.1.2 一元、二元离散随机变量的信息论概念

2.1.3 三元离散随机变量的信息论概念

2.2 用信息论的方法进行特征选择

2.2.1 概述

2.2.2 以I(F_i;C)- βI(F_i; F_s ) 代替I( F_iS; C ) 的 MIFS 算法

2.2.3 近似计算I(C;F_i| F_s ) 的 MIFS-U 算法

第三章 特征选择信息论算法存在的问题

3.1 权重系数β的选择问题

3.2 随已选输入特征增加引起的权重系数变大效应及改进方法

3.3 第一特征的选择问题

3.4 MIFS-U 算法近似计算I（C;F_i | F_s ）的条件限制

第四章 一种新的特征选择信息论算法

4.1 两类情况下I(C;F_i F_s ) 的计算

4.2 概率质量函数的直方图近似方法

4.2.1 直方图的边界问题

4.2.2 用两类样本的直方图获得总样本的直方图

4.3 用直方图计算互信息的算法流程

4.3.1 一维信息熵的直方图算法流程

4.3.2 二维联合信息熵的算法流程

4.3.3 二维互信息的算法

4.3.4 I(F_i F_s; C ) 的算法流程

4.4 特征选择的新算法及实验结果

4.4.1 第一特征选择算法的改进

4.4.2 后续特征选择的新算法

4.4.3 实验结果及分析

4.4.4 新的信息论特征选择算法流程

第五章 一个特征选择信息论算法的应用实例

5.1 问题描述及实验方法

5.2 特征选择算法流程图

5.2.1 第一特征选择的算法流程

5.2.2 几种后续特征选择方法的算法流程

5.3 实验结果及性能比较

5.3.1 几种特征选择算法的结果

5.3.2 改进前后 MIFS 算法的特征选择性能比较

5.3.3 改进前后 MIFS-U 算法的特征选择性能比较

5.3.4 MIFS-A 算法和MIFS-D 算法的特征选择性能比较

5.3.5 改进之后的MIFS-UA 算法和 MIFS-D 算法的特征选择性能比较

致谢

参考资料

作者简介

发布时间: 2007-06-11

参考文献

• [1].一种目标边界跟踪算法[D]. 吕云飞.大连海事大学2014
• [2].快速傅里叶变换裁剪算法[D]. 邹游.华南理工大学2017
• [3].蝙蝠算法的改进与应用[D]. 何子旷.广东工业大学2016
• [4].针对大规模时间序列数据的改进聚类算法[D]. 杜荣浩.北京交通大学2017
• [5].蚁群算法的改进[D]. 范红梅.燕山大学2007
• [6].面向微博话题的粒子群优化聚类算法研究[D]. 郝丽静.河南理工大学2016
• [7].基于增量的不确定社团发现算法研究[D]. 刘爽爽.山东师范大学2016
• [8].FPGA打包算法的研究与优化[D]. 辛文.西安电子科技大学2015
• [9].目标匹配与跟踪算法研究[D]. 杨海燕.江南大学2014
• [10].基于双麦克的语音增强算法的研究及应用[D]. 张彦芳.清华大学2013

相关论文

• [1].文本分类中特征选择的理论分析和算法研究[D]. 熊小草.清华大学2007
• [2].基于信息理论的特征选择算法研究[D]. 陆景辉.北京交通大学2007
• [3].高性能特征选择及文本分类算法研究[D]. 孙春明.华北电力大学（北京）2007
• [4].文本分类中特征选择方法的研究[D]. 余俊英.江西师范大学2007
• [5].特征选择算法研究[D]. 苏映雪.国防科学技术大学2006
• [6].手写体数字识别中的特征提取和特征选择研究[D]. 董慧.北京邮电大学2007
• [7].基于信息论的特征选择和分类算法研究[D]. 张隆.西南农业大学2005
• [8].基于特征模糊化和神经网络的特征选择[D]. 谢衍涛.华中科技大学2005
• [9].基于Bayes错误率上界最小的特征选择算法的研究[D]. 张振平.同济大学2006
• [10].基于类别的特征选择算法的文本分类系统[D]. 蒋伟贞.西南交通大学2004

标签：模式识别论文;  特征选择论文;  信息熵论文;  互信息论文;