英国大学卓越教学评价： 实施框架、指标体系与反思

英国大学卓越教学评价： 实施框架、指标体系与反思

臧日霞¹，苑大勇²

1.潍坊学院教师教育学院，山东潍坊；

2.北京外国语大学国际教育学院，中国北京

摘要：英国高等教育教学质量评价积累了丰富的评价教学质量制度和实践。当前英国学生事务办公室利用“教学卓越与学生成果框架”评价教学质量，确保高等教育机构的教学质量符合政府、学生、社会、雇主等相关利益者的预期目标。该框架用三个关键教学领域的六个核心指标体系评价教学，并在实施过程中不断调整评价指标和评价方法论，其评价结果对高等教育产生了较大影响。英国TEF评价指标仍保有较大发展空间，如教学卓越的理念会继续精确，测评中加强大数据等新技术的应用，测量指标进一步丰富和完善。

1 引言

如何科学、准确、真实地测评高等教育的教学质量，世界各国一直在孜孜求索。一般来说，英国高等教育质量评价的保障和问责程序高度发达[1]。

英国先后实施了双重质量调控之政府和院校共同评价教学、内外质量评价之内部学科评估与外部院校审查，然而，质量评价通常着眼于更广泛的领域，而不仅仅面向教学质量，而且这些评价实践先后都遭遇了发展困境，如：双重质量调控由于不同的评价工具造成评价结果存在差异，误导公众对大学办学成效的认知与判断，且耗费人力、物力和财力，使得大学疲于应对；内外质量评价的审查过程已经程式化，审查本身不能发现大多数新信息，而且大学已经娴于应付院校审查的“制度游戏”，通常会遮掩难以处理的问题，避免接受深层次的审查[2]，进而使得质量评价的结果可信度下降。

与质量评价困境相叠加的，是高等教育变革引发的人们对教学质量的日益关注。最直接和最迫切的驱动因素是英国高校财政收入越来越依靠教学。学生转变为高等教育真金白银的消费者，他们投资未来的关键驱动因素之一是高等教育的卓越教学质量。已有的质量评估审查虽然能确认超过基线的成就，但显然不能满足高等教育机构教学卓越的新需求。因此，构建系统严谨的教学卓越保障体系，建立为学生发展服务、以学生为中心的大学内部治理结构，突出学生中心地位，成为提升高等教育质量的重要途径[3]。

2 OfS监管下的TEF政策

为了在整个高等教育部门范围内严格评估优秀教学，提高教育教学质量，使所有学生都能做出明智选择，让更多的人从高等教育中受益，2017年5月，英国宣布《2017年高等教育与科研法》生效，这意味着一个前所未有的审查高等教育教学质量时代的到来[4]。该法提出要将高等教育部门全部纳入新成立的学生事务办公室（Office for students）单一监管之下。

学生事务办公室负责修订、提升基于风险的高等教育的质量评价方式，引进了“教学卓越与学生成果框架”（Teaching Excellence and Student Outcomes Framework，又称TEF）。TEF不是单纯的审查方法，而是一种政策干预，学生事务办公室视TEF中的教学评价指标为教育改革的重要政策工具，构建面向全体学生的全国性评价高等教育教学质量的框架，采用统一的评价指标，收集评价指标的相关信息、数据作为评价基础，支持不利背景的学生更多地参与到高等教育，提升高等教育机构的教学卓越，确保教学拥有与科研同等重要的地位，最终促使高等教育从准市场向完全市场模式转变。

因此，学生事务办公室要求所有高等教育教学的供给者都要参与TEF，接受TEF的定量和质性评价。TEF的评价结果决定高校是否有权根据通货膨胀提高学费。尽管TEF是重要的政策工具，但质量评估都是TEF的先决条件，TEF与英国以往的教学评价和质量提升计划，构成了连贯的评价系统，共同促进、支持和奖励高等教育部门教育教学质量的持续改进。

3 TEF核心评价指标

2017年至2023年，TEF共进行了五轮评估，其中，最近的一次是在2023年。TEF从诞生之日起就力图克服重复、冗长、繁琐、耗费高等诸多之前教学质量评价的缺点，追求简明的基于标准的实践。TEF预设是基于案头研究的过程，它的评价过程有三个阶段，第一阶段为评估人员和小组成员对高等教育供给者的单独评估；第二阶段是所有小组成员和评估人员将在一个地点会面，讨论单独评估，并向TEF小组提出建议；第三阶段会通过一次全面的TEF小组会议决议最终结果。TEF注重从量化评价和质性评价中选择相应的指标，构建卓越教学的评价体系，针对高校教学展开测量活动，力争将教学质量做量化体现。

3.1 TEF的量化评价指标

鉴于单一的指标无法完成测量教学卓越的任务，TEF的评估指标体系较为复杂而多元，采纳了广泛意义上的教学卓越，即教学卓越包含教学本身、教学环境以及教学所带来的结果[5]。TEF选择在三个教学质量关键领域施测：1、教学质量，指教学激励和为学生提供挑战的程度；2、学习环境，指支持教学、改善学生在效益、进展和成就的资源与活动（如图书馆、实验室和工作体验）的效率；3、学生结果和学习收益，指全体学生达成教育和职业目标的程度，尤其是不利背景的学生的学习结果[6]。这三个关键领域的测量指标被分解为课程教学、评价与反馈、学术支持、退学率、毕业后就业或继续深造、高技能就业或继续深造六个核心指标。这六个核心指标的数据均可以通过英国的高等教育大数据库获得，前三个核心指标数据来源分别是全国学生调查（National Student Survey）、高等教育统计署（Higher Education Statistics Agency）、个体化学习数据（Individualised Learner Record），其中全国学生调查是年度调查，要求毕业生就所学课程提供反馈，使用从极度不满意到相当满意的五点量表进行评价，其数据用于测量教学质量、评价和反馈以及学术支持等。大学和学院使用这些数据结果改进学生的学习体验，帮助高校申请者决定选择哪类课程。第四个指标是以大学的退学率为基础，数据来源为高等教育统计署，用以查看学生学习期间的退学率；最后两个指标数据来源为高等教育毕业生目的地调查（Destinations of Leavers from Higher Education），均与毕业生离校后的表现相关。高等教育毕业生目的地调查会收集学生完成学业课程六个月后的信息，包括学生目前正在从事的工作以及所从事工作的类型和收入，从而获取高等教育毕业生的就业或继续学习的数量以及高技能就业或继续学习的数据，追踪毕业生就业后的去向以及收入[7]。

3.2 TEF的质性评价

TEF质性评价的实施者是由学者、学生和雇主们组成的独立团体。他们要评估由高等教育部门提交的 15页的材料。从评价过程来看，评价团队依据大学提交的书面材料审议评价指标，类似于“推导高等教育机构的故事，描述高等教育机构图像”[8]。独立团体的评价中，每个指标都以每所大学的陈述为基础。若大学表现超出或者低于基准，该大学会收到一个正向或者负向的标记[9]，如果高校做得极好或者极差，会收到两个正向或者负向的标记。全部标记的数量会产生最初的排名：金牌是指有三个或以上正向标记（要么一个或两个），但是没有一个负向标记；无论其他结果如何，只要有两个或以上的负向标记就是铜牌，其他的是银牌。评估团队根据每所大学在离散指标上的表现，调整原始排名，偏离指标的使用也是如此，但是分散到不同的学生群体中，学生群体的划分标准依据可以是性别、民族和社会背景等。最终评价人员对照金牌、银牌、铜牌教学的描述指标，依托每所大学提供的情境证据，考虑大学的整体排名。金牌意味着大学具有最高质量的教学标准，且能够保持卓越水平，大学维持率和学业进展方面能够为不同背景的学生提供卓越的成就、卓越的体育和数字资源，课程设计和评估实践为学生卓越提供了空间，能确保所有面临重大挑战的学生都能实现其全部潜力，具备雇主高度重视的知识、技能和理解。银牌意味着大学教学是高质量的，在同类院校中能超越高等教育机构的质量底线；铜牌意味着大学的教学质量是令人满意的，大多数的学生能够获得好的成果，但是在一个或更多领域内的表现明显低于基准。

4 历次TEF评价指标体系的动态调整

4.1 首轮TEF评价指标体系

迄今，TEF已走过了五个轮次。历次的TEF量化评价指标和方法论都有微调。2015-2016年被称为TEF首轮试验年，参加首轮试验的都是英格兰高校，只是在院校层面评价高等教育机构的整体绩效表现且只给一个等级。第一年有130多所高等教育机构和替代性教育提供者申请并参与排名。高校所获得的金牌、银牌和铜牌等级是基于对共同标准进行整体评价后得出的结果，2016年颁布结果。首轮 TEF使用的评价指标体系是六个核心指标，其结果仅作参考，对2016-2017年度的学费额度提升没有影响。在TEF的第一年（试验）之后，政府进行了一次“经验教训（Lessons  learned）”研究，认为TEF的结构和方法运作良好，应保留评估过程。为了更广泛地评估教学成果，将评估框架调整为“教学卓越和学生成果框架”，同时也对评估过程进行改进，如对NSS指标的加权、收集部分时间制学生教育提供者的额外评估信息、调整每个指标的极高和极低绝对值，调整反映所有类型劣势的基准因素，同时加强高等教育提供者的问责[10]。

4.2 第二轮TEF指标体系

2016-2017学年为TEF第二年，参加的院校除了英格兰高等教育机构之外，部分苏格兰和威尔士高校也首次参与TEF。第二轮TEF沿用了首轮的核心指标，评价结果于2017年6月颁布于众。民众对 TEF的批评主要集中在：（1）只使用结果数据，如学生满意度和毕业生就业来测量教学质量，没有从教学输入方面进行教学质量测量，如果将师生交往时间、评价和教学员工的教学资质等这些学生关注的与教学质量相关的因素纳入测量指标体系，测量结果应该会更合理；（2）评价指标体系应该有适合做代理指标的证据，如TEF虽使用就业目的地作为指标，却不能证明它是教学质量的好代理，因为毕业生就业去向的影响因素很多，如社会经济等因素的影响要大于教学质量[11]。针对这些批评，政府建议在测量教学卓越时，一定要审慎地选择代理指标来评估TEF提出的与教学质量相关的指标的证据，评估TEF评价指标潜在的后果，找出有哪些因素会促进高校片面追求每个指标分数最大化，提出规避此类风险的建议。

4.3 第三轮TEF指标体系

2017-2018学年为TEF第三年，评价结果发表于2018年6月。虽然此次TEF仍采用了2017年的6个核心指标，但引入毕业生的收入作为补充性的评价指标，而且测量评价的方法也有调整。评价方法的调整体现为评价人员进行原始排名打分的核心指标中，来源于NSS的三个指标权重都减半。评审团进行原始评级后，需通盘考虑评价指标体系的绝对表现，考虑大学在偏离指标上表现如何，在补充指标（包括毕业生就业、毕业生收入和分数膨胀）上的表现如何，考虑大学提交的15页的书面材料。实际的结果表明，2018年有超过20多所高校提出评价和再评价申请，但是重新参加TEF的高校排名也有下降的风险。舆论普遍认为这一次调整方法论对罗素集团的高校有益。

4.4 第四轮TEF指标体系

TEF第四年是现有形式的最后一次评估实践，自2019年4月起，英国高校参与TEF成为法定要求，教学卓越测量的重点也逐渐从院校层面向学科层面过渡，且TEF测量逐渐以学科层面为重点。TEF第四年结果于2019年6月19日发布，所有的TEF结果有效期至2021年。TEF第四年除了沿用往年的6个核心指标外，还新添1个平均收入或者继续学习的核心指标，共计7个核心指标，同时增加了两组补充指标，分别是分数膨胀指标和可持续就业或继续学习指标。此次评估，有超过30所高等教育机构申请或者复申请。

四个轮次后，TEF共授予高等教育机构282项奖牌，其中，金牌76家，银牌132家，铜牌60家，其他高教机构（指欠缺充足信息无法进行全面评估的高等教育供给者）14所。四轮TEF的评价指标和计算方式的调整反映出TEF评价针对每个学科，也针对整体的学院或大学，TEF评价对英国的高等教育产生了重要的影响。人们对卓越教学的认识更加深入周全，如除了统计“核心”指标，还要统计具体的数据指标，以便更加详细地审视性别、民族、年龄和等因素的影响意义。总之，教学卓越的测量越来越细化，影响教学卓越的关键指标得到更多的关注与重视。

4.5 第五轮TEF评价指标体系

2023年，学生事务办公室发布了TEF2023的结果，共有227所高等教育机构参与2023年的TEF活动。本轮次，TEF对高等教育提供者的优秀评价高于本科课程质量和标准的基线要求。本次评价指标由四个部分构成，分别是：高等教育机构提交了与其学生体验和成果相关的卓越证据（最多25页）、高等教育机构的学生可以自愿地单独提交中他们对所在高校的学习体验和成果质量的看法（最多15页）、学生事务办公室从NSS中提炼的指标以及在学率、完成率和进度的指标以及学生事务办公室为每个高等教育机构提供的关于其服务规模和形态的数据。其中，教育收益被纳入TEF2023的评价新要素。

TEF2023的结果排名与以往不同，既有整体的排名，又依据学生体验和学生成果进行了单独排名。从整体排名来看，金牌为51家，银牌有125家，铜牌48家，另外还有3所高校需要改进[12]。

获得三重金牌的高校都提交了与他们的愿景或使命相关的声明，清楚地表现出卓越的独特和综合战略“蓝图”、持续改进的嵌入式循环来确保学生的卓越表现、关注学生的未来和超越高等教育的影响。这也是TEF评价的一个新变化。

5 基于卓越教学的TEF指标体系反思

TEF继承了英国高等教育教学质量评价的传统优点，充分利用已有的大数据平台，选取更为合理的指标测量教学质量。在施行过程中，虽然也存在一些不足与偏颇，但TEF会应时、应势、因时制宜，纠偏矫枉，减少评价中的偏见，更加客观真实地反映教学与学习，在质量评价方面已然取得了一定成就。

毋庸置疑，卓越教学的概念界定是TEF实践的基础。然而，高等教育中卓越教学的研究虽很多，如何界定卓越教学却鲜有一致意见，比较一致的意见是“卓越教学”是一个公认的有争议的概念。卓越教学的争议性在于：首先，它既可以面向具体情境的、不同学科和组织内部的不同意义的事情，又可以抽象地指向大学的教学使命。教学使命是一个更大的范畴，包括学生培养周期所有的输入、过程、输出和结果，如学生录取之前发生的活动、录取要求、申请信息、录取协议和扩大参与。当学生被录取后，教学质量和学生的体验至关重要，学生获得的在线、在校资源与设施也很重要，学生维持率和学位分类等输出也很重要，毕业生去向以及个体发展等结果也重要。其次，卓越可以是竞争性的，仅仅指向精英教育；卓越也可以是全纳性的，人人皆可卓越。教学实践中的卓越教学的判断更加复杂，高等教育中的卓越教学和教学质量应该融合追求不同目的、使命和价值观的多种类型高等教育机构，必须要考虑到专业系别和院校层面的卓越[13]。最后，卓越教学不但指向个体的教师和其合作的学习者，也指向支撑学习过程更加便捷的资源和制度。卓越教学是多维立体的，而且是流动发展的，它既指向教学本身，又受到诸多因素的牵制。

卓越教学本身如此复杂多面，而TEF中对卓越教学的理论界定还比较薄弱，这成为TEF被诟病的原因之一。未来TEF应该夯实其较为脆弱的理论基石，开发一个更为包容的、符合本国国情的卓越教学的理论框架，以期让所选取的评价指标更加有代表性，更加客观有价值。

5.1 TEF评价指标的大数据需更加精确

TEF的施行与大数据应用密不可分，其量化指标依赖于英国现有的针对本科生的数据库。政府关注多渠道收集学生的数据，激励高等教育机构追求自身学术项目和培养模块的绩效指标，在高等教育市场中，这些指标的影响因素越来越重要[14]。但是TEF在运用大数据时存在一些问题，未来需要更谨慎地利用大数据。例如，全国学生调查数据成为 TEF测量指标体系的来源。从2005年开始，英国全国学生调查要求所有的毕业生要填写一份问卷，对他们在校时高校的方方面面打分。尽管在某些学科领域全国学生调查回复率达到50%，就调查而言这种回复率不算低，但对回复率的解释则不全面，如

春季本科学位的调查表明学生对同期发生的事情很敏感（如学校建筑施工、罢工、考试失败或论文经验），而不是整个大学期间的经验。还有，学生的视角与那些熟悉高等教育的人有差异，如牛津大学和剑桥大学的学生罔顾他们接受一对一辅导而其他学生则是大型讲座团体授课的事实，评价他们所接受的教学指导反馈与其它高校的学生一样差[15]。同时全国学生调查中，学生对学校生活方方面面的评价受到很多因素影响，比如现有的科研证据表明性别不是影响学生毕业时做问卷的唯一因素，学校的地理位置、交通、房价等都是学生满意度的影响因素。除此之外，全国学生调查和高等教育统计署中相互佐证的大学员工人口统计学特点表明，讲师的民族性对全国学生调查分数产生显著影响，尤其是非洲裔、亚洲裔和少数民族裔的讲师的得分普遍低于白人同事。学术权威看起来与女性或者非洲裔学者关系不大，学生对他们的高等教育质量和效能的测评分数普遍走低[16]。全国学生调查这些打分都被运用到TEF中，成为TEF测量教学卓越的指标之一，然而要想科学、客观地解释这些数据偏差，使得评估结果真实、可靠，TEF必须要更加审慎地采用大数据支持其评价结果。

5.2 TEF评价指标要进一步丰富和完善

要实现TEF扩大教育参与、提升教学质量的目的，需要选取能够真实反映、测量教学卓越的指标，而且这些指标需要能反映政府的“物有所值”价值观以及高等教育毕业生可雇佣性的要求。当前 TEF使用的指标虽然能部分体现教学卓越，但并不是衡量TEF标准的最佳代理。首先，TEF将毕业生的就业作为教学卓越的测量指标之一，并不是在实际测量教学质量，相反更倾向于精确地测量学生结果。TEF利用纵向教育结果数据库（Longitudinal Education Outcomes）发布各高校和不同项目的近期毕业生（毕业一年、三年和五年）数据，帮助学生选择能带来高收入的课程。但实际情况则是高等教育机构不能控制学生的劳动力市场去向，高等教育机构在人力资源中扮演者供给者的角色，不负责工商业战略，因此劳动力市场的不公平高校也无法凭一己之力扭转。与学生未来收入相关的评价指标需要考虑部门的平均薪金水平、公共部门、第三部门以及私立部门、性别收入差距以及很多其他因素，而非仅是高校课程。其次，TEF第四年将学生的分数通胀纳入到测量指标体系。研究表明高分会提升学生满意度[17]，在TEF中，因为学生满意度是TEF指标采集点，从达成指标意义来看，很多大学或许已经试图给学生更高的分数。英国第一等级学位的比例从2013年的18%上涨到了2017年的26%，高等教育机构不可能在四年时间内将教学结果提升如此之快[18]。2019年学生事务办公室发表评论文章称在英格兰获得一等学位的学生比例继续增加，这些增加的一等学位有13.9%无法解释[19]。一等学位的增加，导致英国学位贬值。实践中的悖论就此产生：TEF意在改善教学，教学的改善应该能提高学生的表现和他们的学位结果，然而学生事务办公室却禁止提升学生成绩，避免学位分数通胀。还有，有些指标如学习的专业、学生进入的年龄、种族、性别、残疾、学习水平、社会经济地位以及本科学习年限等，真正影响到这些指标表现的深层因素是高校不能控制的。最后，TEF的基准取决于每所高校的自身特色，无法面向所有机构保持一致，即便某些高校的数据没有改变，基准在未来几年可能会变化，因为其它高校发生了变化。

正是因为教学卓越背后与社会、政治环境、政策、传统因素有着千丝万缕的联系，教学卓越作为承载着学生、家长、雇主、社会、政府期望的出口，很容易被想当然地从单一或几个方面评价而不是综合评价。所以TEF未来关于教学卓越的指标应该与教学卓越更有逻辑关联，而不是生拼硬凑的几个教学指标的沙拉盘。

6 结语

高等教育机构被要求承担教学、科研和经济发展、国际交流多重使命，高等教育机构该向谁担责，为什么而担责[20]，是TEF实践中需要深思熟虑的基础性问题。就教学这一维度来看，英国高等教育被视为生产服务性行业，其所生产的产品是维持国家经济竞争力和经济运行的优质毕业生。若产品不合格，如太多学生考试失败和/或看起来没有具备经济发展所需要的“准确”技能，那么生产方——院校和学者都应该为此负责任[21]。因此在TEF的实施框架中，TEF试图利用指标体系进行教学排行，让

所有人对教学质量一目了然，满足高等教育服务购买方（学生、家长、雇主）的需求。如果将学生看作是消费者，这样操作无可厚非，因为学生要选择课程学习，学生是最权威的教学卓越的判断者。然而，教育和知识不是产品，教育的结果需要学生个体的配合和长期的参与，不是靠教师单方努力就能达成的；教学也不是碎片化的指标的叠加，它是一项长期的过程，教学卓越应该关注教学的过程性评价和总结性评价二者的平衡。TEF的测量指标是量化的，测量标准主要是教育中的主观而非客观的标准，所以这种评价方式存在明显限制，测量很多时候都成了教育政策和实践的驱动力，而鲜有人关心被测量的指标能否充分代表好的教育观点[22]。

可见，评价高等教育的教学质量是一项复杂工程，因此我们要明确教学卓越的内涵和指向，利用客观真实的数据多方佐证才能更加科学地测量、分析教学卓越，同时科学地选教学测量指标，透明合理地建构测量指标体系，确保人们对卓越教学的维度充满信心，让高校更好地履行自身职能。

致谢

本文由基金项目：2022 年山东省高等教育学会高等教育研究专项课题“高校卓越教师教学能力发展策略研究”资助。