本方法以课程考核材料作为评价依据,对课程(包括实践教学在内的所有教学环节)毕业要求的达成情况进行评价;根据每门课程达成度评价结果,计算出毕业要求达成情况评价结果。
一、毕业要求达成情况评价方法
1.毕业要求指标点及支撑课程
在学院教学工作委员会指导下,同时参考国内外同类专业、其他工程教育类专业及相关专家的建议,系/教研室对本专业所制定的毕业要求进行合理的分解,一般可分解为2-3个能反应毕业要求的本质、更为具体和更易评价的指标点。根据各指标点对毕业要求的贡献度不同,对各个指标点赋予合适的权重值。每个指标点应该由3-10门相应课程支撑,再依据它们对指标点贡献度的大小分配合理的权重。
2.评价原理
首先收集该专业最近一届毕业生的所有课程(包括授课类、实验类、实习实践类、设计类课程)的考核成绩。如某课程是采用常见的100分制考核,则采用考核成绩分析法对本专业所开课程的达成情况进行评价。如某课程的考核采用分级制(如优秀、良好、中等、及格、不及格),则需要采用评分表分析法(Rubrics评价法)来评价该课程达成情况。一般以平时成绩加学期末考试成绩作为依据进行课程和毕业要求达成情况评价。
对课程考核成绩进行评价以计算出“课程达成度评价值”,再依据计算出的“课程达成度评估值”和相应课程的支撑权重,计算出“毕业要求达成情况”。最后,将该计算结果与制定的合格标准进行比较,进而得出支持毕业要求达成情况的评价结果。
对于支撑点为多门课程组合的毕业要求指标,以课程考核成绩分析法计算相应课程达成情况评价值,再根据该毕业要求指标点下属支撑点的支撑权重,确定其达成情况。
3.评价数据来源
专业的不同课程类型采取不同的考核方式。评价的依据为各门课程考核材料,包括考试、测验、作业、实验报告、设计报告、论文、读书报告、实习报告、实践报告等。各类课程的评价依据大致如下:
①授课类课程:主要依据试卷内容、期末成绩、平时成绩(作业成绩以及课堂测验)、课程考核质量分析表;
②实验类课程:选择实验报告、实验表现综合成绩等作为评价依据;
③实习实践类课程:依据实习日志、实习报告、实习表现、总评成绩等;
④设计(课程设计、毕业论文(设计))实践类课程:选择开题报告、毕业设计或论文、设计说明书和计算书、图纸、中期和最后答辩表现等作为评价依据。
4.达成标准及评价形成的结果
在评价毕业要求达成情况时,评价小组应反复调研、征询意见,并结合自身专业情况及学生毕业要求,反复论证制定合格标准。达成评价值合格线一般可定为0.6,小于该值判定为不合格。所有的评价过程和结果均形成文档,并反馈给任课教师,以便持续改进。
5.毕业要求达成的评价步骤
根据各专业的实际情况,一般以平时成绩加学期末考试成绩为大多数课程的考核方式,有少数课程仅以平时成绩或者期末考试成绩作为最后总成绩,故所有课程采用课程考核成绩分析法进行达成情况评价。其主要步骤包括:
5.1课程权重值设置
由学院本科教学工作委员会和骨干教师将每项毕业要求分解为2-3个指标点,每个指标点由3-10门进行达成情况评价,并要有合理、明确的教学内容及实现方式,再根据它们对指标点贡献度的大小,赋予它们合理的权重。注意一门课程可以支撑一个或多个毕业要求指标点;每个指标点对应项的总加权数等于1。这里的课程必须是有学分并对所有参与的学生有明确考核结果的课程或教学活动。对于课程的评价可以是考试、考查、相关责任教师定性判定等多种形式,但其判定必须针对毕业要求相关指标点是否达成来进行,保证考核评估的公开、公正、公平。
5.2评价依据合理性确认
在开展课程达成情况评价之前,由学院教学指导委员会委派本专业的教师和教学管理人员对该门课程评价依据的合理性进行确认:
①考核内容的合理性:是否完整体现了对相应毕业要求指标点的考核难度、分值和覆盖面等;
②考核形式的合理性:除了平时和期末考试,是否采用了合理的其它考核形式(如作业、大设计、论文、报告等)考核学生获取该条指标点所列能力;
③考核结果的合理性:是否存在考核试题偏难或者偏易的问题。
评价人员须填写《课程考核合理性确认表》(附件4),明确说明“合理”或者“不合理”。如被判定为“不合理”,则不应该采用上述试卷或报告作为达成情况评价依据。
5.3课程达成情况评价
课程评价是毕业要求评价的基础,其可靠性和合理性决定毕业要求评价是否合理和可信。依据对本专业学生的考核内容,进行课程对该条毕业要求指标点的达成情况评价。针对具体的某门课程,一般选取修读该课程的一个班级或年级作为评价样本。针对具体的某个学生,则全面评价其所有学习过的课程的达成情况,并进行课程间的比较,也可与其他学生比较和分析,找出问题,以利改进。
某门课某个学生的课程达成情况评价值=课程权重值´(该学生试卷考核成绩/相关试卷总分´试卷成绩占总成绩的比例+该学生平时成绩/100×平时成绩占总成绩的比例)=课程权重值×课程考核总成绩分。
例如,《机械原理》对于毕业要求指标点1.3的权重值为0.2,学生平时成绩总分为100分,占总成绩的30%;课程期末试卷总分为100分,占总成绩的70%。如果2014届某个学生的平时成绩为75分,期末考试成绩为71分,该课程对该生毕业要求指标点1.3达成情况的评价值=0.2×(30%×75+70%×71)=0.2×72.2% =0.144。
如果一门课程由2个或以上的子课程组成,该课程的达成情况最终评价值取该组子课程中的最低值。
5.4毕业要求达成情况评价结果计算
依据以上的课程达成情况评价值,计算出一届学生样本中的每一个学生的每一项毕业要求指标点评价值,选取其中的最低评价值(注意不能用平均值)作为该毕业要求达成情况评价最终结果。
毕业要求达成情况评价值应该为每一个毕业生单独计算,并用离散图来表示该评价值的分布情况。计算其平均值的意义不大,因为掩盖了最好和最差学生的信息,但是平均值可以观察其走向趋势,分析这种趋势的可能原因,为持续改进提供依据。
5.5毕业要求达成情况评价
依据本专业达成情况评价小组制定的合格标准,明确该项毕业要求评价结果是否“达成”。
二、毕业要求达成情况评价举例
以毕业要求2的达成情况评价为例,先依据已经确认合理、可靠的考核成绩计算出支撑毕业要求2各个分解指标点的课程达成评价值;将课程达成评价值相加,得出该相应毕业要求指标点的评价值;以此计算出某项毕业要求各项指标点的达成情况评价值;取其最小值,即为该毕业要求达成情况评价值;最后对毕业要求达成情况评价值进行分析和比较,找出教学环节、课程体系的弱点,进行必要的整改,从而保障各个教学环节、课程体系、教学大纲均能围绕毕业要求达成这个核心任务来实施。
1.设置达成情况目标值
相关的毕业要求达成评价小组依据国内外开设有本专业的做法及本专业的自身特点,该毕业要求2被分解为3个指标点,每个指标点由3-10门课程支撑,各门课程对指标点的支撑强度权重设置如下表1。
表1自动化专业用于毕业要求2达成情况评价的课程目标值
二级指标点 |
支撑课程 |
达成情况目标值 |
2.1能够应用数学、自然科学和工程科学的基本原理,识别、表达,并通过文献研究分析机械工程专业复杂工程问题,以获得有效结论; |
线性代数 |
0.2 |
概率论和数理统计 |
0.3 |
大学物理(一) |
0.2 |
大学物理(一、二) |
0.3 |
大学物理(二) |
0.2 |
2.2能依据科学和工程原理及文献调研,认识到解决电气工程问题有多种解决方案可选,进而对多种方案进行对比分析,并能正确表达一个电气工程问题的解决方案; |
自动控制原理 |
0.2 |
电路 |
0.2 |
电机学 |
0.2 |
毕业设计 |
0.4 |
2.3能运用工程科学的基本原理分析电气工程复杂问题的影响因素,证实解决方案的合理性。 |
工程设计 |
0.2 |
专业综合实训 |
0.2 |
发电厂电气部分课程设计 |
0.3 |
电力系统分析课程设计 |
0.3 |
2.确认评价依据
为评价机械工程专业学生毕业要求2的达成情况,必须将表1中的每门支撑课程的考核成绩进行合理性确认,一般由毕业要求达成情况评价小组组织本专业资深教师实施。以《电路》为例子,在表1的基础上,小组制作了一个“《电路》考核合理性确认表”。
在此表中,毕业要求达成情况评价小组将逐项检查所列项目,评估该课程考核成绩是否可以用来评价毕业要求。如表中任何一项不能被确认或有疑问,该课程成绩则不能用于毕业要求达成的评价,必须经过改进,再由评价小组重新确认,合理性确认通过后方可采用。。
3.课程达成情况评价
以《电路》为例,分别抽取本专业2016级、2017级两个年级班级的课程考核总成绩作为样本。已知课程考核总成绩总分为100分,支撑毕业要求指标点为1.3、2.2、5.3和6.3,已知《工程设计》对应毕业要求各指标点的目标值均为0.2,则计算得出某个学生的课程达成情况评价值:
《工程设计》支撑毕业要求各指标点1.3的达成评价值=0.2总成绩/100。
表2《高电压技术》支撑毕业要求2.2评价基础数据
评价项目 |
评价内容、依据 |
课程名称 |
《高电压技术》 |
1.3能将工程基础和专业知识用于电气工程专业复杂问题的分析、设计和优化。 |
课程支撑权重0.2 |
2.2能依据科学和工程原理及文献调研,认识到解决机械工程问题有多种解决方案可选,进而对多种方案进行对比分析,并能正确表达一个机械工程问题的解决方案; |
课程支撑权重0.2 |
5.3应该认识到现代工程工具和信息技术工具等的适用范围及特点,能够综合利用多种现代工具的优势解决复杂工程问题,并理解其局限性。 |
课程支撑权重0.2 |
6.3能够从技术、材料、人员配置、加工制造等方面分析、比较和评价机械工程项目对社会、健康、安全、法律及文化的影响,并理解机械工程师应承担的责任。 |
课程支撑权重0.2 |
评价学生样本(排除当年未按时毕业者) |
2016级电气2班 2017级电气2班 |
课程考核成绩 |
每个学生课程考核的平时成绩、期末考试成绩、最后总成绩 |
最终用于计算毕业要求指标点达成情况的成绩 |
取课程中的低值 |
表3《高电压技术》课程达成情况评价表
(以2016级电气*班为例)
学生 名字 |
学号 |
总成绩 |
指标点1.3支撑权重 |
课程达成情况评价值 |
指标点2.2支撑权重 |
课程达成情况评价值 |
指标点5.3支撑权重 |
课程达成情况评价值 |
指标点6.3支撑权重 |
课程达成情况评价值 |
陈X |
1411112001 |
79.75 |
0.2 |
0.1795 |
0.2 |
0.1705 |
0.2 |
0.1415 |
0.2 |
0.1465 |
陈X |
1411112002 |
80 |
0.2 |
0.18 |
0.2 |
0.171 |
0.2 |
0.142 |
0.2 |
0.147 |
陈X |
1411112004 |
71.75 |
0.2 |
0.1635 |
0.2 |
0.1545 |
0.2 |
0.1255 |
0.2 |
0.1305 |
陈X |
1411112005 |
77.45 |
0.2 |
0.1749 |
0.2 |
0.1659 |
0.2 |
0.1369 |
0.2 |
0.1419 |
陈X |
1411112006 |
87.9 |
0.2 |
0.1958 |
0.2 |
0.1868 |
0.2 |
0.1578 |
0.2 |
0.1628 |
陈X |
1411112008 |
73.1 |
0.2 |
0.1662 |
0.2 |
0.1572 |
0.2 |
0.1282 |
0.2 |
0.1332 |
邓X |
1411112009 |
68.9 |
0.2 |
0.1578 |
0.2 |
0.1488 |
0.2 |
0.1198 |
0.2 |
0.1248 |
郭X |
1411112015 |
65.85 |
0.2 |
0.1517 |
0.2 |
0.1427 |
0.2 |
0.1137 |
0.2 |
0.1187 |
胡X |
1411112017 |
80.7 |
0.2 |
0.1814 |
0.2 |
0.1724 |
0.2 |
0.1434 |
0.2 |
0.1484 |
黄X |
1411112018 |
81.35 |
0.2 |
0.1827 |
0.2 |
0.1737 |
0.2 |
0.1447 |
0.2 |
0.1497 |
贾X |
1411112020 |
72.2 |
0.2 |
0.1644 |
0.2 |
0.1554 |
0.2 |
0.1264 |
0.2 |
0.1314 |
李X |
1411112021 |
88.6 |
0.2 |
0.1972 |
0.2 |
0.1882 |
0.2 |
0.1592 |
0.2 |
0.1642 |
李X |
1411112022 |
69.25 |
0.2 |
0.1585 |
0.2 |
0.1495 |
0.2 |
0.1205 |
0.2 |
0.1255 |
李X |
1411112023 |
87.7 |
0.2 |
0.1954 |
0.2 |
0.1864 |
0.2 |
0.1574 |
0.2 |
0.1624 |
林X |
1411112025 |
69 |
0.2 |
0.158 |
0.2 |
0.149 |
0.2 |
0.12 |
0.2 |
0.125 |
*刘X |
1411112027 |
88 |
0.2 |
0.196 |
0.2 |
0.187 |
0.2 |
0.158 |
0.2 |
0.163 |
乔X |
1411112030 |
68.8 |
0.2 |
0.1576 |
0.2 |
0.1486 |
0.2 |
0.1196 |
0.2 |
0.1246 |
苏X |
1411112032 |
81.35 |
0.2 |
0.1827 |
0.2 |
0.1737 |
0.2 |
0.1447 |
0.2 |
0.1497 |
孙X |
1411112033 |
63.8 |
0.2 |
0.1476 |
0.2 |
0.1386 |
0.2 |
0.1096 |
0.2 |
0.1146 |
田X |
1411112034 |
62.65 |
0.2 |
0.1453 |
0.2 |
0.1363 |
0.2 |
0.1073 |
0.2 |
0.1123 |
夏X |
1411112036 |
80 |
0.2 |
0.18 |
0.2 |
0.171 |
0.2 |
0.142 |
0.2 |
0.147 |
向X |
1411112037 |
68.9 |
0.2 |
0.1578 |
0.2 |
0.1488 |
0.2 |
0.1198 |
0.2 |
0.1248 |
许X |
1411112038 |
70.95 |
0.2 |
0.1619 |
0.2 |
0.1529 |
0.2 |
0.1239 |
0.2 |
0.1289 |
杨X |
1411112040 |
76.6 |
0.2 |
0.1732 |
0.2 |
0.1642 |
0.2 |
0.1352 |
0.2 |
0.1402 |
叶X |
1411112041 |
73.9 |
0.2 |
0.1678 |
0.2 |
0.1588 |
0.2 |
0.1298 |
0.2 |
0.1348 |
张X |
1411112042 |
80 |
0.2 |
0.18 |
0.2 |
0.171 |
0.2 |
0.142 |
0.2 |
0.147 |
张X |
1411112043 |
68.85 |
0.2 |
0.1577 |
0.2 |
0.1487 |
0.2 |
0.1197 |
0.2 |
0.1247 |
赵X |
1411112044 |
79.5 |
0.2 |
0.179 |
0.2 |
0.17 |
0.2 |
0.141 |
0.2 |
0.146 |
赵X |
1411112045 |
95.2 |
0.2 |
0.2104 |
0.2 |
0.2014 |
0.2 |
0.1724 |
0.2 |
0.1774 |
郑X |
1411112046 |
96.9 |
0.2 |
0.2138 |
0.2 |
0.2048 |
0.2 |
0.1758 |
0.2 |
0.1808 |
周X |
1411112047 |
71.95 |
0.2 |
0.1639 |
0.2 |
0.1549 |
0.2 |
0.1259 |
0.2 |
0.1309 |
朱X |
1411112048 |
97.6 |
0.2 |
0.2152 |
0.2 |
0.2062 |
0.2 |
0.1772 |
0.2 |
0.1822 |
朱X |
1411112049 |
85.35 |
0.2 |
0.1907 |
0.2 |
0.1817 |
0.2 |
0.1527 |
0.2 |
0.1577 |
庄X |
1411112050 |
85 |
0.2 |
0.19 |
0.2 |
0.181 |
0.2 |
0.152 |
0.2 |
0.157 |
左X |
1411112051 |
84.55 |
0.2 |
0.1891 |
0.2 |
0.1801 |
0.2 |
0.1511 |
0.2 |
0.1561 |
通过上面两个年级的学生的《高电压技术》课程达成度评价,可知大部分学生通过课程考核,两届学生也具有可比性。通过对近两届学生学习状态、考试成绩、课程设计的分析,发现学生成绩总体偏低,对于一些考题不能够很好应对,原因是少数学生对本课程的关键知识点掌握不够好,对于知识点的综合分析、理解和应用不足。学生的成绩分布也比较分散。为此,评价小组建议在今后的教学中要进一步加强和学生的教学互动以及对课堂练习的巩固,对知识难点详细解释,增强学生对该课程的学习热情和对知识点的掌握。
通过布置和收集课程作业、课程提问、考试试卷和课程设计,记录学生对课程知识点、基本方法和基本技能的掌握情况,评估毕业要求的达成情况;通过作业、课程设计对单元操作、单元过程、控制体系、传质过程、相平衡、设计结果等进行描述、计算和分析,记录和评估相关毕业要求指标点的达成情况;通过观察和记录学生的实验表现、实验方法、实验数据和实验报告的质量,记录和评估毕业要求的达成情况。这样,通过形成性评价的积累,学生才能够更好地掌握本课程教学大纲规定的关键知识点,实现教学目标的达成,从而为通过总结性评价做好准备,实现支撑的毕业要求指标点的达成。
4.毕业要求达成情况评价
依据每门课程的达成情况,将其加和,得出毕业要求指标点评价值。一旦计算出对应毕业要求2各个指标点的各门课程的达成度评价值,将其加和,得出该指标点达成度评价值,从毕业要求2的3个指标点评价值中取最低值,得出毕业要求2的达成情况评价结果值,以此结果与毕业要求达成合格标准相比较,可以判定是否毕业要求2已经达成。以此类推,样本中每一个毕业生其它各项毕业要求达成情况均可以被定量评价。如表4所示的毕业要求2各个指标点达成情况及毕业要求2达成情况评价结果(从本专业2016级、2017级各取一个学生作为例子)。
表4毕业要求2各个指标点达成情况及毕业要求2达成情况评价结果
二级指标点 |
支撑课程 |
达成情况目标值 |
达成情况评价 |
2013级学生林X |
2014级学生李X |
2.1能够应用数学、自然科学和工程科学的基本原理,识别、表达,并通过文献研究分析机械工程专业复杂工程问题,以获得有效结论; |
线性代数 |
0.2 |
0.164 |
0.186 |
概率论和数理统计 |
0.3 |
0.267 |
0.24 |
大学物理(一) |
0.2 |
0.12 |
0.12 |
大学物理(一、二) |
0.3 |
0.225 |
0.27 |
大学物理(二) |
0.2 |
0.196 |
0.184 |
2.2能依据科学和工程原理及文献调研,认识到解决机械工程问题有多种解决方案可选,进而对多种方案进行对比分析,并能正确表达一个机械工程问题的解决方案; |
自动控制原理 |
0.2 |
0.144 |
0.19 |
电路 |
0.2 |
0.18 |
0.164 |
电机学 |
0.2 |
0.19 |
0.14 |
毕业设计 |
0.4 |
0.352 |
0.332 |
2.3能运用工程科学的基本原理分析机械工程复杂问题的影响因素,证实解决方案的合理性。 |
工程设计 |
0.2 |
0.178 |
0.16 |
专业综合实训 |
0.2 |
0.178 |
0.16 |
发电厂电气部分课程设计 |
0.3 |
0.252 |
0.228 |
电力系统分析课程设计 |
0.3 |
0.246 |
0.237 |