梁军 侯迪波

[摘 要]新工科建设给高等学校工程教育的发展带来了新机遇，同时也为课程教学质量的评价带来了新挑战。结合新工科中对课程教学的新质量要求和新对策，构建了课程教学质量“五位一体”全流程综合评价体系，研究了综合模糊评价模型，给出了评价工作的详细流程。研究结果以期能够为高等学校的课程教学质量评价工作提供借鉴。

[关键词]教学评价;新工科;定量评价模型;模糊评价;层次分析法

[中图分类号]G642 [文献标识码]A [文章编号]1005-5843（2022）01-0123-08

[DOI]10.13980/j.cnki.xdjykx.2022.01.020

新工科建设是我国高等工程教育改革的重要举措[1]，从“复旦共识”到“天大行动”，再到“北京指南”，逐步确立了新工科建设目标、行动路线和具体实施内容[2][3]。新工科建设对传统工科专业课程教学带来了多方面机遇和挑战，课程教学质量评价体系的构建和评价模型设计是其重要工作之一[4]。

作为教育教学活动的基本环节，教学评价是指依据特定的教学目标，运用一定的工具或手段，对教学过程与教學效果进行评价判断的过程。教学评价是教育教学过程中不可或缺的环节，影响着教育教学目标的达成，引导着教学活动的实施和发展。

笔者首先从多角度分析了新工科对课程教学质量评价的新要求和新特点，对课程教学质量“五位一体”全流程综合评价体系进行建构，设计包括1个一级指标、10个二级指标、56个三级指标的三级评价指标体系。运用层次分析法和模糊评价法研究综合模糊评价模型，做出详细的综合模糊评价方法工作流程。本文的研究结果拟为高等学校的课程教学质量评价工作提供借鉴。

一、新工科对课程教学质量评价带来的新挑战及新对策

新工科是指对传统的、现有的学科进行转型和升级，或将传统学科与其他学科进行交叉融合，同时结合互联网和人工智能对传统行业的颠覆性影响，形成的一种适合现代产业发展需要的新型学科群。一般而言，新工科具有引领性、交融性、创新性、跨界性和发展性等新特征，而高校新工科建设的目标是培养多元化、创新型卓越人才，为国家未来发展提供智力和人才支撑。

面对新工科的新理念和新要求带来的新挑战，传统教学质量评价方法已经无法满足需要，必须构建新工科下教学质量评价的新体系，才能适应课程教学新质量的要求。相对于传统的教学质量评价体系，新体系至少应将以下几方面纳入考评范围。

（一）教学内容和知识点是否具有学科交叉性

多学科交叉和跨界融合是新工科的显著特点，这要求新工科培养的人才能够利用跨学科的观点和知识，不断创新思维模式，创造性地解决复杂的现实工程问题。学科交叉和跨界融合能够打破传统工程学科的固定范式，让学生具备多学科思维，因此在新工科授课过程中，应注重学科交叉，帮助学生形成系统思维模式，构建完整的知识网络。

（二）教学内容和知识点是否具有知识引领性

教学内容和知识点是否具有知识引领性，是否涵盖了必要的学科发展前沿。在当代科学知识日新月异的发展背景下，必须破除普遍存在的教学内容几十年不变的现象，在传授学科基本概念、基本原理、基本方法的同时，适当地革除陈旧知识、加入新思想、新理论、新方法，使学生尽早触碰学科发展前沿，为将来的研究和应用开拓眼界、夯实基础。

（三）在教与学的相互关系中，是否真正做到了“以学为本”

在教与学的相互关系中，是否真正做到了“以学为本”，体现了学生的学习效果才是整个教学过程的核心所在。目前，教学评价多是从教师一侧考核教学质量，学生一侧对教学质量的反映仅仅依据考试成绩，这实际上是一种本末倒置。对教师的评价再高，学生在知识和能力方面收获不大都是教学过程的一种失败。因此，教师要注重引导学生自主思考和进行探究性学习，帮助学生形成必要的理论思维，注意授课和思考的逻辑性，逐渐从“教师为主体”向“学生为主体”的教学模式转换;同时，提倡和鼓励学生质疑和提问，促进学生以批判性思维进行辩证地、全面地看待问题。

（四）课程教学评价应该从考核时间点的评价转变为全过程质量评价

课程教学评价是一项贯穿整个教学过程的工作，应该从几个考核时间点的评价转变为全过程质量评价。传统的教学评价基本上是一种总结性的学习“终端”性评价，对一门课程的教学质量评价更多的是在期末课程结束时一次性完成，或者再加上期中时间点的评价作为参考。然而，新工科建设要求的是人才的全流程、全方位培养，是一个高效、优化的动态过程。这一特点要求必须建立全过程质量管理概念，不仅在整个教学过程中从开课前准备到课程结束考核的所有教学环节进行质量把控，而且也有必要延伸到这门课程的教学历史状况。例如近5年的同比和环比教学评价结果，从大数据层面分析问题和研究改进。

（五）课程教学安排中，是否充分体现了创新实践的内容和环节

相比传统工科人才，未来新兴产业和新经济需要工程实践能力强、创新能力强、具备国际视野的高素质复合型人才，从而新工科人才培养的核心目标之一是创新实践能力，这一目标不仅要求设置充分的教学实践环节，也引导课程的理论和方法教学内容向创新实践能力培养倾斜，许多内容空洞、照本宣科的课程必须要做出改革，教学方法也要适当更新。为此，通过课堂教学质量评价这一指挥棒来驱动教学改革的完成，成为很好的选择。

课程学习的效果不仅要考核学生掌握基本理论及实践动手能力，还要注重考核学生在实践活动过程中所体现出来的创新能力、知识运用能力、发现问题与解决问题能力、团结协作能力、表达与写作能力等;将理论考核、实践能力考核及系统设计、创新能力的评价等多种方式结合起来，对学生掌握知识、运用知识和创新能力做出具有科学性、合理性的综合评价。同时，也要把学习习惯的养成、获取信息的能力、学习操作的流程、科学思维的方法等因素作为评价内容。

（六）对各教学环节存在的问题形成反馈机制

教学质量评价需要进一步科学化、规范化、体系化、定量化，并对各教学环节存在的问题形成反馈机制，以达到提升教学质量目的。在整个培养体系中，教学评价（包括课堂教学评价和实践教学评价）和各个环节的教学质量监督保障占有重要地位。然而，相对于其他教学环节，教学评价和质量保障无疑是最为薄弱的一环，这在国内外高等学校是一个普遍现象。新工科需要新质量，新质量需要新方法，新方法不仅意味着方法有创新性，更需要方法本身的科学化、规范化、体系化和定量化，在操作层面上易于被接受、应用方便。

（七）课程质量评价主体多元性是保障新工科課程质量的客观标准

课程质量评价主体是否具有多元性，是新工科课程质量保障的一大客观标准。与以前的封闭式教学模式不同，新工科课程教学需要面向产业、面向应用、面向未来科技，课程内容需要得到这些面向目标的认可，因此新工科课程教学是开放和与时俱进的。另外，课程教学质量的发言权应该由“教”更多地转向为“学”，学生在评价中应该起到更重要作用。评价主体多元化是指采用多主体参与教学评价，建立以学生为主体，教师、教管、产业共同参与的评价制度，突出学生在评价体系中的主体地位，改变教师在传统教学评价中的主导地位，教师的主要任务转变为利用教学方法和手段进行积极引导，给予学生以更大的主动权，培养学生的理论知识的应用能力，构建以学习者为中心的评价方式。这种评价方式大大提高了学生参与教学过程的积极性，能够充分发挥学生的学习主动性，激发学生的学习兴趣。同时，引入产业参与教学评价，及时了解学校教育的局限性并做出调整改进，从而达到综合培养学生专业能力的目的。

（八）新工科教学质量评价制度化

新工科教学质量评价要形成制度化，要建立固定的、常设的质量监督机构来确保各项工作的贯彻落实。教学评价是手段，质量保障才是目的。为建立教学质量监督保障体系，学院、系层面应该建立常设的专职质量监督保障机构，主要职责至少应该包括：制订各个教学环节的教学质量评价考核指标;对教学质量保障措施全过程进行监督和指导;对每个教学环节进行跟踪检查、随堂听课、学风纠察、教学档案检查;对教学工作提出改进意见和建议等。

二、课程教学质量“五位一体”全流程综合评价体系的构建

（一）体系架构设计

教学评价的关键是建立科学、规范、可量化的评价体系，而评价体系中一般包括如下几个核心要素：评价形式、评价标准、评价指标体系、评价方法、数据和信息以及评价结果反馈机制。评价形式分为主体和客体两部分，评价主体是施加评价者如教学督导部门，评价客体是被施加评价者如课堂教学过程;评价标准分为主观标准和客观标准;评价指标体系包括定性指标体系和定量指标体系;评价方法包括定性分析方法和定量分析方法，其中定量方法多按照定量指标体系建立定量评价模型来完成;用于评价的数据和信息既来源于本次完整教学过程，也包括本门课程的历史数据和信息;评价结果的反馈落实机制，这是提升教学质量的重要途径，更是教学评价的最终目的所在。

融合上述新工科对课程教学质量评价的新要求，汲取国际一流大学教学评价经验，结合中国高等教育国情和工程教育具体情况，按照六项核心要素，笔者提出了课程质量的“五位一体”全流程综合评价体系（如图1所示）。

1.评价形式：“五位一体”的评价主体包括学生评价、教师同事评价、教师自评、教学督导部门评价、院级教学教务管理部门评价（含主管教学院长、班主任辅导员、教务行政人员等）;全流程的评价客体包括教学活动全过程中课堂教学、课外教学、实验教学、主题研讨、作业及考勤、课程期中和期末考核等。

2.评价标准：主观标准依据主观判断的背靠背打分确定，通常需要对表征主观标准的指标内容进行精心、科学设计，赋分多采用优、良、中、及、差五级制划分或更细的九级制划分，每个级别的区分条件要尽量边界清晰和具备独立性和可操作性;客观标准的制定多对应教学活动全过程可以采集的客观数据，并能够通过科学计算得到定量结果（需要对用于科学计算的客观数据进行合理筛选）。

3.评价指标体系：定性指标由一系列事先精心设计、重要但难以量化、科学规范的问卷、表格等构成。如授课各环节衔接是否自然，上课节奏是否控制合理，能否做到重点突出、对重点讲解透彻、学生对知识的掌握和运用程度、学生素质和能力的提高程度、对后续关联课程的支撑等。定性指标的评价结果普遍指向若干事先确定的标志性结论词句。如教学方法得当、授课方式生动、能力提高显著等，使定性评价结果具有可操作性;定量指标包括由科学计算得到的客观指标和若干可以给出数值化优劣等级的主观指标构成，尤其是应该有利于通过定量评价方法中的定量评价模型来获得定量评价结果。

4.评价方法：定性评价方法主要包括专家打分法、德尔菲多轮评价法、层次分析法（AHP）等;定量评价方法主要包括模糊评价法、因子分析法、数据包络分析法（DEA）、灰色分析法、大数据挖掘法、神经网络法等。其中，定量评价方法的两个关键问题，一是如何确定各指标的加权因子;二是如何选择合适的评价数学模型。由于课程质量评价问题本身所具有的定性特点和非精确特征，近年来将定性的层次分析思想和定量的模糊数学模型相结合的综合模糊评价法得到了更广泛的应用。

5.评价信息：历史信息中不仅含有每届根据评价体系得到的结论性信息，也含有每届用于教学评价的原始数据和信息。实际工作中逐步建立健全针对教师的教学档案、针对学生的教学档案和针对课程的教学演化档案，使后续教学评价不仅有数据可用，而且数据完整、可信，还可以进一步据此对课程教学的未来趋势进行预测。

6.评价结果反馈机制：建立评价结果的反馈机制，注重延续性和发展性，借助基层教学组织、课程群、教学督导机构，使评价结果对课程改进、教师教学水平提高和教学质量提升有切实的推动，对教师成长和发展有持续的促进，尤其对助力学生成才有决定性作用。

（二）评价指标体系的建立

评价指标体系是考核评价工作的核心。根据课程质量“五位一体”全流程综合评价体系的设计思想，结合新工科建设的新要求和实际教学工作的体会和经验，设计了以下三级评价指标体系（如表1所示）。其中，一级指标为课程教学质量评价的总目标;二级指标是大类指标，共设立了10项，分别是评人（师德师风B01、教学队伍B02）、评课（教学方法和手段B03、教学内容B04、教学过程B05、教学实践B06）、评课程考核（教学考核B07）、评教学效果（教学效果B09）、评教学管理（教学档案B08、培养方案与课程教学大纲B10）;三级指标是56个具体的技术指标，其中大部分為常规评价指标，也有许多是体现了新工科课程的新要求，如课程思政内容融入与质量C0104、教学内容先进性和前沿性C0404、教学内容的学科交叉和跨界融合性C0405、教学内容是否兼顾了产业需求C0406、课外实践环节的设置情况C0602、学生创新与实践能力培养C0906、线上教学C0305等等。三级评价指标体系如图2所示。

三、综合模糊评价模型及评价工作流程

（一）层次分析法

层次分析法（Analytical  Hierarchy  Process，AHP）是由美国人T.L.Satty教授于1977 年首次提出，将人的定性判断以定量的数字方式体现，从而将定量工具用来解决普遍的定性分析和评价问题的方法。既充分尊重专家的定性经验，同时也避免完全依据人的主观判断的局限性，尤其适用于课程教学质量评价这类主观、客观相结合的问题。AHP法的基本思路如下：1.构建递阶层次结构。确定目标层、因素层和子因素层，每个上层级因素对有关联的下层级因素起支配作用，同时自身又受上一层级有关联的因素控制。在构造实际问题的层次结构模型时，首先要分解出构成要素，用作用线连接起来，即可建立层次结构模型。

2.建造判断矩阵。AHP法重要的原则之一就是确定每个层级的因素对上一层级有关联的因素之间的相对重要性，并以数值的方式确定下来。判断矩阵是将层次结构模型中同一层次的要素相对于上层的某个因素，相互间作成对比而形成的矩阵。但是很多同阶层项目因素无法直接确定权值，只能通过两两比较来进行相对重要性权值赋值。两个因素Bi和Bj之间的相互重要程度，按照9级来进行标示[5]。

3.对各阶层进行单层次排序。通过矩阵计算判断对于上一层某一个因素而言，下一阶层中跟该因素有关联的子因素的重要程度值，其核心是各层次判断矩阵中各元素的权重计算。

权重计算的方法有多种，常用的是方根法和特征向量法。以方根法为例，这是一种计算判断矩阵权重的简单方法，其计算步骤为：首先计算判断矩阵P=[ bij] n×n中每行所有元素的几何平均值，得到向量M=[ m1，m2… mn]T，mi=n∏nj=1bij， （i = 1，2， …， n）;然后对列向量M作归一化处理，得到相对权重向量W=[ w1w2… wn]T。其中 wi=mi∑nj=1mj;最后计算P的最大特征值λmax，其近似计算公式为λmax=1n∑ni=1（PW）iwi，（PW）i 是权重向量W右乘判断矩阵P得到的列向量PW中的第i个分量。λmax将用于判断一致性检验。

4.一致性检验。人们在对复杂问题的因素进行两两比较时，不可能做到判断的完全一致性，总会存在一定的估计误差，这将导致判断矩阵的特征值和特征向量也带有偏差。构造一致性检验指标C.I为C.I=λmax-nn-1，其中λmax为最大特征值、n为判断矩阵阶数。对于任意的判断矩阵，λmax越大一致性越高;当λmax=n时C.I = 0，则判断矩阵具有完全一致性;C.I 的值越大，估计偏差也就越大，偏离一致性的程度就越大。

通常判断矩阵的阶数n越高，其估计偏差随之增大，一致性也就越差。因此，对高阶判断矩阵的检验应适当放宽要求，引入随机指标R.I 作为修正值[5]，以更合理的随机一致性指标C.R来衡量判断矩阵的一致性：C.R=C.IR.I，一般只要C.R≤0.10，则认为具有满意的一致性，否则必须重新调整判断矩阵中的元素的值。

5.总层次排序。层次总排序就是基于层次单排序得到的结果计算组合权重，通过比较各层各要素组合权重的大小，得到要素的相对重要顺序，依次确定对指标体系的评价。设某因素层C对其上级层G的相对权重列向量为α=α1α2…αmT，C的下级层B对C层各项准则C1，C2，…，Cn的权重列向量分别记为W1，W2，…，Wk，…，Wm。其中Wk = [ w1k w2k …wnk ]T是B层因素Bi （i =1，2， …，n） 对准则Ck （k =1，2， …，m） 的相对权重列向量。由此构成组合权重计算表2。实际上，由相对权重列向量W1，W2，…，Wm可构造相对权重矩阵W=[ W1，W2 … Wm]，则组合权重V可按V = W·α计算。

（二）模糊评价模型

模糊评价模型是基于模糊数学原理构建的一种用于评价分析的数学模型。设给定论域U，U到[0，1]区间的映射μA：U→[0，1]，u→μA，则有序对集合={[u，μA（u）]u∈U}称为U上的一个模糊集，μA称为的隶属函数，μA（u）为u对的隶属度，可简记为μ（u）。

事物之间因果关系的不确定性使得关系具有模糊性或者说“亦此亦彼”性质，课程教学质量评价往往就是如此。一些具有模糊概念的系统，在进行评价时很难给出确切的表达，这时可以用模糊评价方法，隶属函数的构造可以采用连续的或离散的形式。一般地，假设对于有m个目标、p级评语集时的模糊评判矩阵为R={rij} （i=1，2，…，m; j=1，2，…，p）。其中rij=μij（x）表示方案x在第i目标处于第j档评语的隶属度。当对多目标进行综合评价时，先要对各个目标分别加权，设第i个目标权系数为wi，且∑mi=1wi=1， wi≥0 ，则权向量w=（w1，w2，…，wm）T，模糊评判矩阵B的计算式为

B=wT*R=（w1w2…wm）*r11r12…r1pr21r22…r2prm1rm2…rmp=（b1b2…bp）

表示方案x处于各档评语的隶属情况。其中，式中的“*”表示模糊运算符。当∑pl=1bl≠1时，可做归一化处理，即令j=bj/∑pl=1bi，j=1，2，...，p，则得到=（1？ 2？？ …？ ？p）。对评价结果向量，一般可用最大隶属度原则确定最终评价结果，即k=maxpi=1（b1b2…bp）。

具体到本文的课程教学质量评价问题，模糊评价模型的构建步骤如下：

1.确定评价因素集合U，该因素集合即为评价指标体系表1中的各项三级指标的合并集合。如用U表示评价因素集合，则

U={ UB01，UB02，… UB10} =

{ { uC0101 … uC0104}… { uC1001 … uC1004}}

式中为表1中的二级指标和三级指标。

2.构建评价结论集合V和计算模糊隶属度数值，该评价结论集合可以采用常见的多级评语来表达。例如，方案x的评语可分为5级，如优、良、中、低、差，或者90、80、70、60、50等。假设有n个专家来评价，认为优的有n1个，良的有n2个，...，劣的有n5个，且n1+n2+…+n5=n，这时可用nj/n来表示方案x属于第j档评语的隶属程度。

3.计算评价因素集合U中各因素的权重大小。每位专家在对课程教学的情况和数据充分熟悉掌握后，独立地对应各项評价因素指标进行判断和比较打分，得到评价因素的权重矩阵A，这一工作可以利用层次分析法的计算结果完成，不再赘述。

4.构建单因素评价矩阵。根据步骤3的结果，在专家对不同方案对应各单项指标做出评价判断后，构建单因素评价矩阵R={ rij，i=1，2，… m，j=1，2，… n } 。其中，rij 是某一个评价指标根据评价因素集合U所对应评价结论集合V的评价评语，即矩阵中所对应的不同行元素为某一项评价指标由不同专家做出的单因素模糊评价结果。

5.对评价因素集合进行评语集合的综合评价。对上述步骤3中所给出的权重集合A与所构建的单因素评价矩阵R进行模糊综合评价，得到如下表达式B = A·R。其中B是经过模糊综合评价的结果，符号·是模糊运算符。事实上，R在其中作为转换器的功能，输入权重赋予指标矩阵A后经过R的模糊运算转换，输出各评价指标结果B。

6.归一化处理。为了使模糊综合评价的结果更具有可比较性，对B进行归一化处理：

b8*= bi /∑jm bj

使得B* = （ b1* ， b2*， … bm* ），且∑im bi* = 1，最终可选出最令人满意的方案。

（三）综合模糊评价方法的工作流程

第1步：确定课程教学质量评价的总目标，根据目标构建评价指标体系;

第2步：全面、广泛地搜集课程教学的当前信息和历史数据，形成完全的课程教学数据集;

第3步：邀请专家组，依照德尔菲多轮评价法，各专家独立进行评价指标体系中各评价指标的对比打分、对评语因素中的评语等级进行打分;

第4步：构建指标体系各层次的判断矩阵，根据专家组打分结果整理出全部的判断矩阵数据;

第5步：对指标体系各阶层进行单层次排序，计算各层次判断矩阵中各元素的权重向量;

第6步：进行一致性检验。如果检验通过，则进入下一步;如果检验不通过，则回到第3步进行专家的再次打分;

第7步：进行评价指标体系的层次总排序，形成组合权重计算表;

第8步：根据评价指标体系，确定评价因素集合;根据评价目标要求，确定评价结论集合;

第9步：根据第3步的专家对评语等级的打分，计算模糊隶属度数值;

第10步：计算评价因素集合中各因素的权重大小;

第11步：构建单因素评价矩阵作为评价指标的单因素模糊评价结果;

第12步：通过模糊运算，对评价因素集合进行评语集合的综合评价;

第13步：对综合模糊评价结果进行归一化处理，作为最终评价结果。

参考文献：

[1]钟登华.新工科建设的内涵与行动[J].高等工程教育研究，2017（3）：1-6.

[2]林健.引领高等教育改革的新工科建设[J].中国高等教育，2017（13/14）：40-43.

[3]吴爱华，侯永峰，杨秋波，等.加快发展和建设新工科，主动适应和引领新经济 [J].高等工程教育研究，2017（1）：1-9.

[4]陈翔，韩响玲，王洋，张鸿雁.课程教学质量评价体系重构与“金课”建设[J].中国大学教学，2019（05）：43-48.

[5]梁军，赵勇.系统工程导论[M].北京：化学工业出版社，2013.

（责任编辑：梁良）

猜你喜欢模糊评价层次分析法新工科基于SERVQUAL模型的“双十一”网购节服务质量评价研究价值工程(2019年12期)2019-07-17新工科背景下化工仪表及自动化课程改革与实践教书育人·高教论坛(2018年5期)2018-06-20新工科+工程教育认证背景下软件工程特色专业建设探索软件工程(2018年3期)2018-05-15新工科背景下《无损检测》课程的教学方法探讨科技创新导报(2017年29期)2018-02-03基于“新工科”的“过程流体机械”教学方法研究教育教学论坛(2017年48期)2017-11-24灌区节水潜力分析中层析分析法模糊评价的应用中国高新技术企业(2016年36期)2017-05-27虚拟现实概念上市公司财务绩效评价现代商贸工业(2016年22期)2016-12-27本科生毕业设计（论文）质量评价体系研究中国教育技术装备(2016年20期)2016-12-12“互联网+”时代的出租车资源配置科技视界(2016年11期)2016-05-23供应链上制造商不同合作类型的风险评价物流科技(2009年4期)2009-07-24

相关热词搜索： 工科 量化 教学质量