实兵对抗演习评估系统中数据清理方法研究

论文摘要

随着军事训练信息化的不断推进,实现客观评估、公正裁决是实兵对抗演习评估系统亟须解决的难题,而这需要以高质量的数据为基础。通过对评估系统数据分析发现,完全重复数据、评估信息的错误数据以及不完整数据是影响系统数据质量的主要因素,由此容易造成评估不客观、裁决不公正、态势判断不准确等问题,降低了评估系统的可信度。为了提高数据质量,促进军事训练水平的进一步提高,本文针对这三类数据的清理进行研究:1.提出了基于特征值的完全重复数据的检测算法。针对经典重复数据检测算法的时间复杂度高,难以满足实兵对抗演习评估系统实时性要求的问题,本文以“散列+匹配”为研究思路,提出了基于特征值的完全重复数据检测算法。该算法首先利用提取规则将待检测数据组成数据块,然后根据特征值生成函数计算出数据块的特征值,最后对特征值相同的记录进行匹配检测。同时,对确定性字段提取规则、特征值生成函数和冲突处理等算法要素进行了分析。理论分析和实验结果表明,与经典检测算法相比,该算法以有限的内存空间增加和记忆率下降为条件,显著的提高了重复数据检测效率。2.提出了基于孤立点的评估信息错误数据检测算法与基于键盘距离的启发式错误值纠正算法。首先,针对目前基于规则的错误数据检测算法难以满足错误数据检测实时性要求的问题,将规则划分为单值规则和多值规则,并结合错误数据的孤立性特征,提出了基于孤立点的错误数据检测算法;其次,为减少有用信息的流失,分析了评估信息错误数据的产生原因,提出了基于键盘距离的启发式错误值纠正算法。理论分析和实验结果表明,与原有算法比较,该检测算法和纠正算法分别提高了错误数据检测的实时性和数据利用率,具有针对性强、误差小的特点。3.改进了用于评估信息不完整数据估计的K-NN（K-Nearest Neighbor）算法。首先,针对K-NN算法受数据规模影响的问题,通过对搜索空间的限制,提高了K-NN算法的实时性;其次,针对K-NN算法存在少量估计值误差大的问题,将军事评估专家经验总结转化为模糊规则,与K-NN算法相结合,有效规避了误差大的估计值,提高了K-NN算法的估计精度。理论分析和实验结果表明,与原有算法比较,该算法针对性强,提高了实时性,减小了估计误差。在实兵对抗演习评估系统中的应用表明,本文研究算法提高了数据清理的实时性,改善了系统数据质量,为客观评估和公正裁决奠定了基础。

论文目录

• 表目录
• 图目录
• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 数据质量的基本概念
• 1.3 数据清理
• 1.3.1 数据清理的基本概念
• 1.3.2 数据清理的发展现状
• 1.4 实兵对抗演习评估系统的数据特征
• 1.5 论文主要研究内容及各章节安排
• 第二章 基于特征值的完全重复数据检测
• 2.1 重复记录检测的研究现状
• 2.2 基于特征值的检测算法
• 2.2.1 数据匹配方法与字段匹配顺序
• 2.2.2 特征值生成函数的构造
• 2.2.3 特征值冲突的处理
• 2.3 算法性能与实验仿真
• 2.3.1 未限制队列长度下实验性能比较分析
• 2.3.2 限制队列长度下实验性能分析
• 2.4 本章小结
• 第三章 评估信息的错误数据检测与处理
• 3.1 经典错误数据检测算法分析
• 3.2 基于孤立点的错误数据检测算法
• 3.2.1 孤立点检测的研究现状
• 3.2.2 基于模糊距离的孤立点检测
• 3.2.3 基于模糊规则的错误数据验证
• 3.3 基于键盘距离的启发式错误值纠正算法
• 3.4 算法性能与实验仿真
• 3.5 本章小结
• 第四章 评估信息的不完整数据检测与处理
• 4.1 不完整数据清理的研究现状
• 4.2 评估信息的不完整数据清理流程
• 4.3 不完整数据处理
• 4.3.1 K-NN算法的实时性的改进
• 4.3.2 K-NN算法的估计精度的改进
• 4.4 算法性能与实验仿真
• 4.5 本章小结
• 第五章 总结与展望
• 5.1 总结
• 5.2 展望
• 参考文献
• 作者简历 攻读硕士学位期间完成的主要工作
• 致谢