在数字化浪潮的推动下,教育领域正经历着前所未有的变革。在江苏开放大学(江苏城市职业学院),大数据挖掘技术的应用不仅极大地提升了教学质量监测的精准度和效率,更为学校的教学决策提供了强有力的数据支撑。
随着教育数字化的快速发展,江苏开放大学(江苏城市职业学院)充分利用大数据技术,通过对教学运行全过程数据的深入挖掘,分析发现了多项关键问题和改进点,为教学质量保障体系建设提供了有力支持。
自2020年秋季学期起,学校教学质量管理办公室积极探索开展了基于大数据技术的教学质量监测与评价工作,逐渐建立起了“用数据说话、用数据决策、用数据管理、用数据创新”的创新质量评价机制。该校副校长张晓近期受邀向“麦可思研究”(以下简称“麦”)介绍学校在教学质量保障体系建设以及学校在教育大数据应用方面的探索和实践。
麦:学校形成了以“1-5-4-2”为框架的教学质量保障体系,请简要介绍一下。
张晓:“1-5-4-2”教学质量保障体系框架指1个中心、5个重点环节、4个运行系统、2大保障系统,具体为:“1”个中心,即以学生为中心,将质量保障的关注重点从教师转向学生、从教师的教学过程转向学生学习过程、从教学目标的达成转向学生发展能力的提升。“5”个重点教学环节,即从专业、课程、教学实施、实践教学、学习支持服务五个重点环节,对在线教学质量做出分析、诊断和改进,将教学质量保障的各项工作进行到底、落实到位,从而达到推动教学质量保障体系持续运行的目的。“4”个运行系统,即目标系统、组织系统、制度系统、监控系统,这四个系统的有序运行,形成教学质量监控的闭合回路,使教学质量的决策、实施、管理、反馈与改进得以有效实现。“2”大保障系统,即内部质量保障系统、外部质量保障系统,内、外部保障系统相互联动,共同推进学校教育教学质量的不断提升。
图1 江苏开放大学教学质量保障体系构建框架(学校供图)
为确保“1-5-4-2”教学质量保障体系的有效运行和持续改进,我校建立健全了教学质量监控制度体系,修订、新制文件近60份,涵盖在线教学质量保障体系的各个环节;建设了专业的教学质量监控队伍,定期选聘、管理、培训、考核学校专兼职督导员的工作,为提高教学质量形成合力;探索了教学质量监控与评价体系,对开放教育教学的全过程进行常规督导、专项督导、教学质量评价考核;健全了教学质量反馈机制,撰写基于数据分析的教学质量监测专项报告、构建教学质量实时监控宏观评价系统,推进信息技术与质量保障的深度融合。
麦:请问学校是如何利用大数据进行教学质量监控的?请分享一些具体的创新做法。
张晓:自2020年秋季学期起,我校教学质量管理办公室积极探索开展了基于大数据技术的教学质量监测与评价工作,逐渐建立起了“用数据说话、用数据决策、用数据管理、用数据创新”的创新质量评价机制。目前已成功实施7个学期,定期发布质量监测报告,取得较好的效果。
首先是组建了一支跨学科融合的专职研究队伍。吸纳教育技术学、计算机科学与技术、心理学、数学、统计学等领域人才,专注数据挖掘、分析、建模。同时与学校信息化建设处、教务处、信息工程学院等紧密合作,共同推动教学质量监测与评价工作。
二是确立适应我校教学特点的分析观测点。经探索与实践,目前确立了4大类,25个观测点,如师生登录频次、作业批阅量、发帖数量等。定期采集数据并分析,每学期形成基于数据分析视角的教学质量监测专项督导报告。同时,也根据学校发展方向和教学改革目标动态调整观测点,为在线教学提供信息反馈、学情预警和决策支持。具体流程为“制定方案-采集数据-分析数据-撰写报告-反馈与持续改进”,分为需求层、数据层、分析层和输出层四个层面的工作。
图2 教学质量监测与评价工作流程(学校供图)
需求层:制定方案。研究团队明确课程抽样原则、研究对象,根据政策变化、教学工作发展要求、前期分析结果,与时俱进优化已有观测点。基本方式为每学期随机抽取学院2-3门课程,共20-30门,课程类别涵盖思政课程、通识课程、专业必修课程、专业选修课程等。
数据层:采集与处理。会同我校信息化建设处获取教与学过程性数据和结果性数据,进行数据清洗,筛选有效的数据,排除无关信息。
分析层:描述与分析。根据获取的数据类型(结构化数据、半结构化数据、非结构化数据),进行描述性统计分析和推断性统计分析(如关联性分析、模型分析等),侧重于课程团队教师如何教、学生如何学、师生间的相互作用规律及其存在的问题。
输出层:专项报告。根据数据分析结果,撰写报告,包含研究方案、在线课程建设质量分析、教师教学行为分析、学生学习行为分析、线下教学实施分析、建议措施等章节。通过图表等材料呈现数据结果,从教育学、心理学、统计学等角度解释数据背后反映的问题、状态等,并提出建议和措施。
三是建立一套较为全面的评价指标体系。通过多方信息收集,设计能够客观、准确地反映评价对象特点和维度的量化或可观察的指标,并形成试行制度文件4份。评价指标体系设计是一个动态的过程,一方面通过实际应用和分析来检验指标体系的科学性和有效性,发现问题及时进行修订和优化,另一方面通过对评价结果的分析和反馈,不断改进指标体系的完整性和准确性,以适应评价对象的变化和评价目标的更新。
四是搭建教育教学准实时宏观评价驾驶舱。整合海量数据,根据前期设计的评价指标体系,将宏观指标拆解为具体的、可量化的微观指标。会同学校信息化建设处搭建宏观评价驾驶舱,利用图表、仪表盘等可视化元素展示评价指标数据,确保数据呈现直观、清晰,具体有学习画像、教师画像、学情预警、学情分析、学习成效等内容模块,为教育管理部门、学校提供了全面、准确、及时的教育教学评价信息支持。
五是建立完善的大数据监控反馈机制。定期采集教与学行为数据,生成数据分析报告,并将发现的问题反馈给学校、相关部门、学院以及相关教师。针对这些问题,实施整改措施,并进行后续追踪,以确保问题得到有效解决。同时,实时展播线上教学运行全过程数据,为学校教学改革提供决策参考。
图3 学校大数据监控反馈机制(学校供图)
麦:您提到学校已发布了7期《本科教学质量监测专项督导报告》,在编制报告的过程中,学校通过数据分析发现了哪些关键问题和改进点?
张晓:相对于传统教学监测,大数据挖掘技术在教学诊断、教学分析、质量分析、教学评价等方面有着显著的优势。一是精准诊断教学问题,通过大数据挖掘技术对学校大量的教与学数据进行分析,精准地诊断教学中存在的问题。二是实时监测与反馈,对学生学习进度和学习成绩进行跟踪和分析,教师根据教学反馈及时调整教学策略或提供必要的学习支持服务,以确保教学质量。三是科学评估教学效果,大数据挖掘技术为科学评估教学效果提供了有效手段,通过关联规则分析,从海量的教与学数据中挖掘隐藏的、有价值的信息,以及构建多维度的教学质量评价模型,学校能够客观地评估教师的教学效果和课程质量,从而为教学改进提供有力的数据支持。学校通过数据分析发现的关键问题和改进点有:
(1)通过时间序列分析,观察到师生教与学活动有着显著的周期性变化规律。多期报告一致发现,学生登录学习平台频次工作日显著高于休息日,且学生的学习时间主要集中在上午9点、下午2点和晚间8点(简称928高峰时段)。这一结果使一线教师能够更精准地在学生活跃的学习时间段内提供必要的学习支持服务,从而优化教学效果。
(2)通过相关性分析,能有效循证教学指导文件的观测指标是否符合实际。例如通过对教师和学生的行为数据进行相关性分析发现,尽管教师的在线时长与学生的学习行为之间存在一定的相关性,但相关性并不显著。这一发现表明,教学指导文件中对教师在线时长的既定要求与实际情况存在一定的脱节。根据分析结果,在后续修订教学指导文件时,我们就对教师在线时长的要求进行了合理的调整,确保其更加贴近教学实际,更有效地指导教学实践。
(3)通过TGI模型分析,能有效验证学生内容学习的偏好。根据多期分析报告发现,学生的视频学习时长TGI指数总体上大于文档学习时长TGI指数,相较于文档学习资源,大部分学生更倾向于观看视频学习资源,说明学生观看视频的积极性更高。这一结果表明,课程负责人需进一步加强视频学习资源的建设和维护,呈现更加生动、直观的视频内容,帮助学生进行知识建构。
(4)通过OL-RFT模型分析,能有效刻画学生群体分类标签。经实践研究,研究团队对我校学生的学习行为进行精准分类,并为每个学生群体赋予了具体标签,将学生群体划分为8种类型。这一方法有效评估了学生群体的黏度、积极性和参与度,帮助一线教师及时了解学生的学习状况,并对不同类型的学生提供有针对性的学习支持服务,从而促进学生在知识和技能方面的有效获得。
(5)通过数字画像开发,为师生提供精准的阶段性教与学诊断报告。研究团队在前期探索和实践的基础上,设计并开发了适用于我校教情和学情的数字画像,包含教师教学画像和学生学习画像两大类。教师教学画像模块涵盖基本信息、教学投入和教学评价;学生学习画像模块包括基本信息、学习特征和学习评价。数字画像不仅呈现了常规的描述性统计,还设计了综合性分析模型。教师教学画像构建了“教师效能指数”模型,实现当前教师课程教学情况的综合评价,展现形式上用“★”表示,“★”越多表示分值越高,最高为5颗“★”。学生学习画像在学习特征模块构建了“学习努力值”模型,全面展示了学生的课程学习状态,以“⚪”表示,“⚪”越多表示学生在该维度上表现越好。数字画像的开发在加强教师队伍建设、提升教学服务能力以及动态监测学生学习情况等方面具有积极作用。
麦:您认为在保障人才培养质量的过程中,第三方数据起到怎样的作用?
张晓:第三方评估机构作为学校外部教学质量保障系统的重要组成部分,是对学校内部教学质量保障系统的延伸和补充,有助于贯彻落实“管、办、评”分离,是现代大学强化内涵建设和持续提升教育教学质量的重要保障。第三方评估机构设计相应的调研评价问卷和数据获取机制,对收集的数据进行清理和分析,最终形成调研报告,为学校人才培养模式改革、人才培养方案修订及教育教学实施改革提供支撑。
具体而言,第三方数据全面展示了学校学生培养的全过程,为教育治理提供了决策依据。第三方评价运用了成熟的研究方法和先进的跟踪评价与数据分析技术,全面、客观、持续地分析和评价在籍生和毕业生,反馈了从招生、学习过程、支持条件、教师评价、培养结果到就业创业等方面的客观情况,为学校治理改革提供了有力的支持。
此外,第三方评价对学校学习与教育过程的客观呈现,为学校人才培养改革提供了有效支撑。第三方评价具备较为完善的评价体系,评价内容覆盖我校开放教育和职业教育的各个方面,包括课程设置、实验实训教学、教学设施、教学支持、教学满意度、培养成效和就业质量等。通过横向和纵向比较,第三方评价为学校在调整开放教育和高职教育的人才培养目标、教学计划、课程内容、教学组织形式及教师教学行为等方面提供重要支撑。
声明:麦可思研究原创内容全面开放非盈利目的的转载授权,转载请留言或添加编辑微信获得长期白名单授权(电话或微信搜索18602824882)。转载要求——
1.文首注明“转载于麦可思研究”。
2.转载请在文章发布的24小时后进行。
3.政府机关、事业单位和社会组织等主体(含高校),获得授权可转发至全媒体平台;其他主体仅限于微信公众号平台发布。
关注“麦研文选”,获取更多数据——
☞回复“月收入”,可获取2023届本科、高职月收入TOP30专业名单。
☞回复“本科就业满意度”或“高职就业满意度”,分别获取2023届本科或高职就业满意度较高专业TOP30名单。