大数据视野下校外合作单位办学质量评估的困境与变革
⇨⇦
刘婷 王应密
【摘 要】大数据为高等教育改革与创新提供了前所未有的机遇，应用教育数据挖掘和学习分析的技术可以全面及时地掌握高校成人教育校外合作单位的办学状况，提升质量评估工作的科学性和有效性。要达到这个目的，高校需要建设网络教育综合服务平台;研究制定科学的评估指标;构建在线评估与现场督导相结合、实时抽查与阶段性评估互补、内外部评估并行的办学质量评估保障体系。
【关键词】成人网络教育;校外合作单位;办学质量评估
【中图分类号】G72;G434
【文献标识码】A
【文章编号】1001-8794（2019）04-0076-05
大数据时代的到来给高等教育改革与创新提供了前所未有的大好机遇，大数据的思维和理念可以为优化教育管理、创新教学模式、提升教育测量与评价水平提供依据和支撑。近年来，成人网络教育在办学过程中积累了大量的数据，如何对这些数据进行深度挖掘和分析，从而进一步优化成人网络教育校外合作单位（以下简称校外合作单位）的办学质量评估工作，这是一个值得深入探讨的议题。
一、校外合作单位办学质量评估所面临的困境
为了强化规范管理，高校继续教育部门一般都会建立一套专门的校外合作单位办学质量评估体系。这套评估体系一般包括准入考核、教学过程监督以及综合性办学质量评估三个组成部分。
准入考核主要是设点评估。由高校继续教育管理部门根据设立的评估指标体系组织专人到现场对校外合作单位进行评估，主要是对办学资质，办学软、硬件条件，尤其是拟设专业所需的师资条件、教学条件、实习条件等重点考察。
教学过程监督一般分三种形式：教学督导员对校外合作单位进行日常的教学督导工作，重点对面授课程进行日常检查;采用校外合作单位自查与检查小组现场检查相结合的方式，对校外合作单位办学质量进行阶段性评估，一般在期中进行;对校外合作单位整个学期的教学管理完成情况进行总结性评估。
综合性办学质量评估是对校外合作单位办学质量的一次综合性评定，一般2—3年为一个评估周期。
评估机制是校外合作单位规范办学的有力保障，也是主办高校履行指导和监督责任的有效途径。但当前的校外合作单位办学质量评估却存在诸多问题：
（一）评估指标主要集中在办学基本条件，对教学过程关注不够
当前，合作单位办学质量评估工作的一个突出特点就是过于注重对办学的软硬件条件进行考察，尤其集中在办学场地、人员配置、师资队伍等方面（参见表1）。这些办学基本条件固然是开展教学的物质基础，但对于整个成人网络教育而言，它们也只是提供了开展教学的基本条件，而教学工作开展状况如何，这些物质条件在教学中应用的情况怎样，这些直接决定着办学质量的关键性因素，却都未能在评估指标体系中得到充分体现。尽管在日常教学督导中，督导员会对教学过程进行考察，但一方面合作单位数量较多，分布零散，少量的督导员很难及时跟踪教学过程;另一方面，督导员对教学过程的评价具有较大的主观性和随意性，而且仅凭一两次的课堂检查也很难对整个教学工作给出相对客观的评估。
（二）只注重学生整体状况的评估，忽视了个性化发展需求
无论日常教学过程监督还是阶段性综合办学质量评估，所考察的重点都是合作单位发展的整体状况，包括对课堂教学实施、教学效果、学生学习成效等方面评价都是如此。这与当前高等教育领域中一再强调的＂以生为本＂的人才培养理念明显不符。这种评价方式消弭了学生个体之间学习能力与学习兴趣的差异，难以促进有效学习的发生，更不利于个性化自适应学习方式的推行。再加上现行网络教育学习平台智能化程度低、数据挖掘＂表层化＂等问题，使传统的办学质量评估方式很难满足学生个性化发展目标的实现，这也导致＂因材施教＂＂个性化教学＂等先进的教学理念难以在合作单位得到落实。
（三）评估对日常教学缺乏有效的引导作用
众所周知，校外合作单位办学质量评估的目的是为了保证校外合作单位的办学水平，提升其人才培养质量，这显然离不开对日常教学工作的关注。但是，当前的办学质量评估指标体系却很少把教学过程纳入考核范围，而且，在评估实践过程中，评估人员也很少深入教学过程中对教师教的行为和学生学的行为进行专门的分析和评价，日常的教学督导也不过是检查一下教学秩序和基本的授课情况而已。这样一来，评估结果对日常教学的影响就可想而知了。这显然违背了对校外合作单位办学质量开展评估的初衷。
（四）评估手段单一
目前，各省市所开展的校外合作单位抽检以及主办高校自行组织的校外合作单位评估，基本都是采取听取自检汇报、实地察看办学场所和設备设施、查阅文档资料、召开座谈会、专家组集中评议等方式。这些评估方式有它的优点，如时间集中，评估内容较为全面，能短时间内了解办学单位的详细情况。但其不足也非常明显，如：办学是一个动态变化的过程，在某一个确定的较短时间里全面综合考察办学单位近几年的办学情况，难度很大;工作量较大，主办高校往往有几十个甚至上百个校外合作单位，组织专家逐个进行实地考察、查阅资料、召开座谈会、听取汇报，要花费很多的人力物力;对办学单位而言，要在短时间内集中组织迎评工作，一方面会影响正常的教学秩序，另一方面，临时拼凑材料、应付评估的情况屡见不鲜。
二、大数据分析技术与校外合作单位办学质量评估
大数据与传统数据相比，具有非结构化、分布式、数量巨大、数据分析由专家层转变为用户层、大量采用可视化展示等特点，而这些特点恰好适应了当前学习方式逐渐向个性化和人性化转变的需要。当前，大数据在教育管理中的应用主要有两大领域：教育数据挖掘（Educational Data Mining，简称EDM）和学习分析技术（Learning Analytics，简称LA）。[1]
（一）教育数据挖掘
教育数据挖掘的内涵是要对学习行为和学习过程进行量化、分析和建模，其目的是利用统计学、机器学习和数据挖掘等方法来分析教与学过程中所产生的大量数据。[2]其基本工作原理可以用。 由流程图可以发现，教育数据挖掘主要包含四个主要环节：目标设定、数据处理、建立模型、模型修正。
1.目标设定
要开展教育数据挖掘，就必然有一定的目标，这是开展教育数据挖掘的前提，设定明确的数据挖掘目标，才能更好地依据特定目标选择和准备数据，建立分析模型。
2.数据处理
这是整个教育数据挖掘的核心环节，其目的是通过对数据实施过滤、筛选、聚类等技术操作，实现原始数据与输入标准的一致性，它包含四个紧密联系的环节：
（1）数据过滤，从杂乱的数据源中筛选出符合教育分析的数据;
（2）数据集成，把来自各子数据库（教师管理数据库、教学数据库、学生学习数据库、教学管理数据库等）的数据集成、合并到单一的某一教育主题数据库，并进行数据差异调节，确保原始数据与输入标准一致;
（3）数据分析，对整理后的数据开展初步分析，筛选出对数据输出结果影响较大的关键字段（数据类别），根据影响作用大小排序;
（4）數据准备，明确模型变量，转换变量，完成数据的筛选与析出。
3.建立模型
根据设定的教育分析目标，在多个可供选择的模型中找出最佳模型，这个过程可能需要反复多次才能完成，中间可以根据最终信息呈现的需要调整数据过滤与筛选的标准。
4.模型修正
对数据挖掘的质量进行评定，好的模型在随机数据的条件下就能得到比较理想的结果，反之，则需要修正原有模型。
（二）学习分析技术
学习分析技术是指利用已有的模型来认识、理解新的学习行为和过程，也就是西蒙（Siemens）教授所说的＂关于学习者以及他们的学习环境的数据测量、收集、分析和汇总呈现，其目的是理解和优化学习以及学习情境＂。[3]由此看来，教育数据挖掘是实施学习分析技术的前提和基础，通过有效的学习分析技术，我们可以监测和预测学生的学习情况，及时发现潜在问题，并据此作出人为干预，以避免学生在学习中产生风险。
对于校外合作单位办学质量评估而言，通过全面跟踪学生的学习行为、学习过程、师生互动情况以及教学资源使用情况，微观持续性地采集鲜活数据，然后运用教育数据挖掘、学习分析和可视化数据分析等技术对校外合作单位的各种教学信息、软硬件投入与使用信息以及办学管理信息等进行综合处理，就可以突破传统经验式评估的弊端，更为全面及时地掌握校外合作单位的办学状况，强化质量评估工作的科学性和有效性。同时，如果有稳定的大数据源作为支撑，办学质量评估就可以开展得更为深入和细致。例如，通过分析不同学习因素的内在特点与联系，就可以掌握学生学习和教师教学的全过程。这样一来，我们不仅可以全面客观地评价学生的学习效果和教师的教学质量，而且可以分析影响学习效果和教学质量的因素，有针对性地提供改进教学质量的评估建议，从而强化教育管理和质量评估的针对性与科学性。
三、校外合作单位办学质量评估改革路径
校外合作单位办学质量评估是强化校外合作单位办学管理的重要环节，通过对教育大数据的挖掘与分析，可以改变过去主要依赖现场定期督导评估来保障校外合作单位办学质量的做法，逐步建立远程评估与现场评估相结合、内部评估与外部评估相呼应、随时抽查与阶段检查并举的科学高效的校外合作单位办学质量评估体系。
从教育数据挖掘的基本流程可知，基于大数据分析的校外合作单位办学质量评估主要有如下环节：评估目标制定、数据源遴选、办学综合数据处理、评估标准构建、评估标准修正、评估结果呈现等。由此，我们可以构建基于大数据分析的校外合作单位办学质量评估模型。
在实施校外合作单位办学质量评估时，首先需要制定评估的目标，并对评估目标进行精确的定义，明确评估目的与要求;接着根据评估的具体要求，从成人网络教育运行数据库中抽取涉及评估指标的数据（这些数据平时存放在各个数据库中）;然后依据挖掘算法及预先开发的数据处理模型对相关数据进行挖掘与分析;再接下来就会对数据挖掘的结果进行评价，判断其能否实现评估的目标与要求，如果无法实现，则回头重新收集数据，当然，这时就可能会涉及到重新修正评估指标及因子的设定、数据挖掘的算法与模型，直至呈现的最终结果达到评估目标的要求（即，具体应用该模型评估某一单位时，评估结果与该单位的真实情况的吻合度高，评估有效，可信）。 对于成人网络教育主办高校而言，建立这种新型的校外合作单位办学质量评估体系，需要重点做好以下几个方面的工作：
（一）开发建设新型的网络教育综合服务平台
先进的高智能化网络教育综合服务平台对建立更加科学化的校外合作单位办学质量评估体系至关重要。这个平台不仅为学生提供自适应性的学习内容，还全程追踪学生学习轨迹，实时记录教师开展教学的信息和师生互动信息，并及时更新校外合作单位的教学管理信息。而且，平台还应具有一定的开放性，校外合作单位可以随时通过信息输入的方式更新调整后的办学条件信息。 从校外合作单位办学质量评估工作的角度而言，综合服务平台应建立以下几个常态数据库：学生学习状态数据库、教师教学状况数据库、师生交流互动数据库、教学管理状况数据库、合作单位办学条件数据库、教学资源使用情况数据库，这六个核心数据库所储存的海量数据经过滤、集成、聚类、关联规则挖掘后构成了校外合作单位办学质量评估的重要信息源。
（二）研究和构建新型的校外合作单位办学质量评估指标体系
校外合作单位办学质量评估指标体系的构建应综合考虑办学基本条件、教学管理队伍与师资力量、管理规章制度、教学过程及办学成效（含毕业生发展状况），提升评价指标的科学性和准确性。在制定这几个方面的具体评价指标时，应重点突出与教学实施过程相关的因素，尤其是能够体现师生互动、学生学习参与度、个性化学习、实践能力培养等相关的内容。
（三）构建校外合作单位办学质量在线评估的质量保障体系
尽管有大数据分析作为技术支撑，但校外合作单位办学质量在线评估也不是万能的。这是因为，一方面，教学过程中依然存在无法数据化的考察内容;另一方面，在线评估由于其与教学现场分离的特点，从而导致了这种评估方式不仅无法准确地再现校外合作单位办学状况的全貌，同时也难以对发现的问题给予及时的处理和解决。因而，校外合作单位办学质量在线评估系统的正常运行还需要一套完善的质量保障体系。这套质量保障体系主要由以下几个方面构成：
1.在线评估与现场督查相结合的评估方式
在线评估可以作为日常教学监控评估方式，但在网络教育综合服务平台所提供的校外合作单位办学信息出现异常，或者主办高校认为某些合作单位的办学需要现场督导时，仍需组织专门人员到现场开展专项的督导与检查。
2.内外部评估并行的评估方式
内部评估主要由校外合作单位实施，对在学学生、任课教师、各类工作人员独立进行评估，评估的具体项目可由主办高校根据评估的基本要求制定，评估的全部程序都在网络教育综合服务平台上完成。外部评估主要是由主办高校来实施，所依据的评估材料一方面是内部评估的结果，另一方面则是从网络教育综合服务平台中提取的校外合作单位运行信息。在这种评估机制下，内部评估对校外合作单位办学质量的控制发挥着更为重要的引导作用，评估其实已经演变成了校外合作单位办学的一种自我约束，自我规范。外部评估在某种程度上具有了真正意义上的监督作用，而不再是直接干预校外合作单位办学的具体业务工作，为校外合作单位主动适应终身教育最新要求，探索新型的人才培养方式提供了更大的自由空间。
3.实时抽查与阶段性评价相结合的综合评估机制
借助于网络教育综合服务平台中的大数据分析功能，主办高校随时可以调取任一个校外合作单位实时的办学数据及其各个时期的内部评估数据，尤其是在学学生对校外合作单位的评估数据，由此来掌握合作单位的实时运行情况。显然，实时抽查弥补了阶段性评估的不足，能够及时发现日常办学中存在的问题，并给予处理。