基于信息衰减由时空数据挖掘驱动的预测Agent学习

论文摘要

人工智能（AI）是目前在计算机科学界最令人感兴趣的研究领域之一,它既可以帮助研究者更好的理解人的大脑的决策过程,同时也可以增加组织对决策制定的参与过程。AI的核心是它包含很多智能计算体,简称为智能体,这些智能体以建立可以适应环境和能够从经验中学习的系统为目标。这个目标吸引了很多来自不同学科的研究人员,从而导致当今很多正在改变工业和科学领域的学习方法的产生。这些学习方法已被证明在很多的应用领域都有巨大的实用价值,尤其是在数据挖掘领域,这是人工智能学习方法在从包含有用隐含规律性知识的大型数据库中自动发现并提取有用知识的一个应用。这些方法,也被称为机器学习方法,被认为是结构描述的产物,是从过去的数据中得到的一个模型。这个模型可以用作智能体的知识表示,具备预测、解释及理解等功能。最具预测性的Agent学习方法是基于这样一个假设的,即建设和验证一个模型的相关历史数据是对未来将要发生的事情的最佳估计。然而,从过去到未来的相关性取决于在特定时间内的应用领域。这些静态数据的处理是基于这些学习方法从人类的学习方法抽象成Agent的学习方法的这样一个事实,但是它却忽略了人类的遗忘因子,人类学习之后很可能会忘记学过的知识。因此,必须将遗忘因子整合到现有的Agent学习方法中以接近人类大脑的决策制定过程及提高Agent的学习性能。数据挖掘极大的促进了对时空数据的学习及对其他研究的信任,把数据挖掘整合到Agent系统中大大提高了预测Agent的学习技能,并协助Agent对未来因子或未来事件的预测。我们致力于开发一种新的学习方法,它可以用在数据挖掘中以创建一种知识表示模型用于学习Agent并协助之象人类那样预测未来。我们称之为信息衰变的新技术,正是对人类遗忘因子的抽象。基于信息衰变的学习方法反映了人类是如何通过时间的衰变来预测未来的,以学习过程中积累的信息量来模拟人类遗忘的行为。从最近的数据（数据表示一个因子或一个事件）得到的信息比从较旧的数据（数据表示很久以前的一个因子或一个事件,比如十年之前）得到的信息更有利于对未来的预测。为了揭示信息衰减学习方法的真相,而不仅是理解其背后的理论概念,我们使用数据挖掘试验并提供实际的试验结果。目前已经存在很多数据挖掘的分支领域,我们倾向于使用时空数据挖掘来处理从时空数据库来提取知识,这是由其对信息衰减的计算时间所决定的。本文介绍了一个多Agent系统的体系结构,为了实现遗忘因子的抽象。此体系结构揭示了Agent技术和数据挖掘技术是怎样整合到一个系统中的,作为一个使用信息衰减从大型数据库中发现知识以提高Agent的学习技能的视图。为了给此假设提供充足的证据,使用ID3决策树学习算法来实现信息衰减,利用从Oracle数据库收集到的940个样例数据集来进行测试。两种预测学习Agent的知识表示模型为：一种情况忽略信息数据的衰减特性,另一种情况则考虑信息衰减情况。准确性,Fl-测量和接受者操作特性曲线是衡量Agent学习性能的重要因素。这种概念的相关性是通过比较预测Agent在不同的时间利用以上两种模型在不可见的数据子集上作出决策的学习性能来证明的。

论文目录

• Abstract
• 摘要
• Dedication
• List of Tables
• List of Figures
• Chapter 1 Introduction
• 1.1 Predictive Learning Overview
• 1.2 Motivation
• 1.3 Research Aim
• 1.4 Contributions
• 1.5 Thesis' Organization
• Chapter 2 Background and Related Works
• 2.1 Predictive Agent Learning
• 2.1.1 Definition of an Agent
• 2.1.2 Definition of Learning
• 2.2 The Junction of Agent Learning and Data Mining
• 2.3 Data Mining
• 2.3.1 Introduction to Data Mining and Temporal databases
• 2.3.2 Challenges of existing predictive data mining leaning techniques
• 2.4 Information Decay
• 2.4.1 Wang, Chen and Yao Theory of Information Decay
• 2.4.2 Learning Through Forgetting and Pruning
• 2.4.3 Forward Decay
• 2.4.4 Other Discussions on Information Decay
• 2.5 Summary
• Chapter 3 Information Decay-Based Learning
• 3.1 Comparison between Human Learning and Agent Learning
• 3.1.1 Human's Predictive Learning
• 3.1.2 Software Agent's Learning
• 3.2 Learning Agent Design Choices
• 3.2.1 Choice of training experience
• 3.2.2 Choice of Task and Model Building Algorithm
• 3.2.3 Choice of Performance Measurements
• 3.3 Information Decay-Based Decision Tree Learning
• 3.4 Summary
• Chapter 4 Predictive Agent Learning System Design and Implementation
• 4.1 Agent and Data Mining Technology Integration
• 4.2 System Design
• 4.2.1 System Architecture
• 4.2.2 Agent types
• 4.2.3 Choice of design language
• 4.2.4 System Design Diagrams
• 4.3 System Implementation
• 4.3.1 Agent Infrastructure and Programming language
• 4.3.2 Java Data Mining （JDM）
• 4.3.3 Predictive Model Markup Language （PMML）
• 4.4 Summary
• Chapter 5 Experiment and Results
• 5.1 Problem Understanding
• 5.2 Data Preparation
• 5.3 Knowledge Representation Models Building and Testing
• 5.4 Best Models Selection and Comparison
• 5.5 Result Discussion
• 5.6 Summary
• Chapter 6 Conclusion and Future Work
• References
• Acknowledgements
• Publications