结合动态测试与静态分析的编程题自动评分方法研究

论文摘要

程序设计语言考试中的自动化试卷评分技术因其涉及多方面的理论知识已经成为一项非常有意义的研究课题,但目前该领域,实用性好而且功能健全的系统很少。在基于程序理解和语义分析的编程题自动评分模型中,用对完整源程序的静态分析和语义等价的转换的方法,将学生程序和作为标准答案的模板程序转化为系统依赖图,通过标准化处理,消除程序中语义等价的表达式的形式多样化,计算它们的语义相似度,应用评分策略给出学生程序的得分。已有的编程题自动评分模型评分的准确性和正确性高度依赖于模板库中题目模板程序集的完备性,而做到模板程序集的完备性十分困难。本文在原有的编程题自动评分模型的基础上,引入动态测试评分方法,将两者有效结合到一起,提出了结合静态分析和动态测试评分方法的编程题自动评分模型以完善原有的评分模型。本文对ACM Online Judge动态测试评分方法的核心进行改进,去除多余的限制,改变其评分策略,使其能够合理地与静态分析评分方法进行结合,并且更适合于普通学生上机考试;将基于静态分析和基于动态测试两种不同的编程题评分方法有效的结合,基于新的评分策略,提出了结合静态分析和动态测的编程题自动评分模型;利用改进的基于语义相似度的评分方法和动态测试评分方法的结合,提出避免冗余的模板提取方法,从学生提交的程序中为静态分析评分提取新模板程序;基于改进模型重新设计和实现了“C语言考试系统”,并对其进行了测试和实际应用的验证。基于完善后的编程题自动评分模型的“C语言考试系统”已经在哈尔滨工业大学2008年春季学期的C语言考试实际使用,取得了良好的应用效果,经过对考试结果的分析验证,证明了本文所提出模型的正确性和系统的有效性。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题背景和研究意义
• 1.2 编程题自动评分在国内外的研究现状及分析
• 1.2.1 国外研究综述
• 1.2.2 国内研究综述
• 1.3 本文的主要研究内容和章节安排
• 第2章 结合静态分析和动态测试的编程题评分方法研究
• 2.1 基于静态分析的编程题评分方法
• 2.1.1 基于程序理解的编程题自动评分方法
• 2.1.2 基于语义相似度的编程题自动评分方法
• 2.2 基于动态测试的编程题评分方法
• 2.2.1 基于动态测试编程题评分方法的基本思想
• 2.2.2 ACM Online Judge系统
• 2.2.3 基于动态测试的编程题自动评分方法的特点
• 2.3 静态分析评分方法和动态测试评分方法的对比分析
• 2.4 结合静态分析和动态测试的改进评分方法及模型
• 2.5 本章小结
• 第3章 模型实现的关键技术
• 3.1 基于静态分析编程题评分的关键技术
• 3.2 基于动态测试编程题评分的关键技术
• 3.2.1 基于动态测试编程题评分的基本流程
• 3.2.2 评分任务传输协议
• 3.2.3 题目配置信息定义
• 3.2.4 学生程序的编译
• 3.2.5 学生程序的测试和评分
• 3.3 改进的结合静态分析与动态测试的评分策略
• 3.4 新模板程序的提取方法
• 3.4.1 准模板标定
• 3.4.2 避免冗余的模板提取过程
• 3.5 本章小结
• 第4章 系统实现及测试分析
• 4.1 系统总体设计与实现
• 4.1.1 系统的体系结构
• 4.1.2 动态测试服务器
• 4.2 测试方案设计与系统模拟测试结果及分析
• 4.2.1 动态测试评分系统原型测试及性能分析
• 4.2.2 结合静态分析和动态测试评分系统模拟测试
• 4.3 系统实际应用测试结果与分析
• 4.3.1 应用环境及规模
• 4.3.2 实际应用结果
• 4.4 本章小结
• 结论
• 参考文献
• 致谢