在现代化的高等教育管理中,数据和信息的作用愈发显得重要,“如果没有量化数据和其他‘硬’信息,大学现在不会、可能永远也不会得以正常运行”。院校研究的主要任务与职能就是将院校的数据变为信息,然后将信息归纳为相应的知识,并由知识分析出具体的行动建议,让最初的数据产生价值,以支持院校的科学决策和有效管理。那么,院校研究数据分析的主要对象究竟有哪些?内容涉及哪些方面?运用什么样的科学方法才能让数据产生价值呢?针对这些问题,中国高等教育学会院校研究分会于2013年7月14-16日在云南昆明举办了“院校研究数据分析的对象、内容和方法”研讨会暨2013年中国院校研究会年会。会议由云南师范大学商学院承办,来自全国160余所高校的250余位院校领导及专家学者参会。会议通过大会报告、大会发言以及专题研讨等形式,围绕上述问题展开了热烈的探讨。作为2013年中国院校研究会年会,本次会议还进行了院校研究会理事会换届选举及增补会员工作。刘献君教授对上一届理事会工作进行了回顾和总结。经会员代表大会表决通过,刘献君教授继续担任中国高教学会院校研究分会第二届理事会会长,陈学飞教授等11人当选为副会长,陈敏教授当选为秘书长。
一、院校研究数据分析的功能与意义
对于本次会议的主题,刘献君教授在开幕式上说明了三个原因:第一,数据分析十分重要。院校研究的基本特征就是通过系统收集和科学分析数据为院校管理提供决策支持。第二,进行院校研究数据分析是当前和今后10年我国院校研究的主要任务。中国院校研究已经从“初步形成”走向“规范发展”阶段,规范发展的总体目标就是以院校研究信息系统建设为重点,大力发展院校研究,使之逐步走向规范化。第三,大数据时代对院校研究提出了新要求。我们已经进入大数据时代,“大数据”不仅指数据的数量大,而且指数据的能量大,我们需要转变思维方式,完善知识结构,提高相应的能力。
1. 数据分析是大数据时代的必然要求
现代信息技术的发展将对大学产生难以估量的影响。华中科技大学教育科学研究院张俊超副教授在《大数据时代的院校研究与大学管理》的大会报告中,用“更多、更杂和更好”概括了大数据时代的特征。她认为在大数据时代我们应转换思维方式:第一,要学会用数据“说话”。用数据说话是中国大学实现从传统的经验管理到科学管理、建立现代大学制度的关键。第二,接受和利用纷繁复杂的数据,而不再限于精确性。一些不可计量、存储、分析和共享的东西都可以被数据化;多样化和非结构化的数据可以帮助我们形成对事物整体性、全貌性的认识。第三,应该由原来执著探求因果关系转而关注事物的相关关系。大数据可以帮助我们发现凭借经验难以想象的相关关系,而这些相关关系可以给我们提供新的视角,并帮助我们进行科学有效的管理决策。总之,“大数据将是下一个社会发展阶段的‘石油’和‘金矿’。无论是个人、企业还是国家,谁能更好地抓住数据、理解数据、分析数据,谁就能在下一波的社会竞争中脱颖而出。关于数据的知识,将成为个人知识结构中的必备要素和基础”。
2.数据分析可以帮助我们加深和拓展关于研究对象的认知,帮助大学走向理性决策和科学管理
厦门大学教育研究院别敦荣教授在大会报告中讲到,院校研究中的数据分析,不仅可以帮助院校研究人员和管理者获取关于研究对象的一般认知,还可以获取对研究对象的本质认知和未来认知,从而帮助大学的决策者从传统的主观决策、经验决策和指令决策走向理性决策和科学管理。这是中国大学管理的一场革命,是我国高等教育发展的客观要求,是我国大学提高水平和质量的必由之路,也是发达国家高等教育发展的经验。
中国地质大学侯志军副教授认为,现代大学管理必须实现科学管理,这种管理是基于证据的管理,是以数据和信息为有效支撑的管理。因此,院校研究要以提供有效的数据和信息为基础,来服务、影响和促进有效决策。院校研究的过程就是数据和信息增值的过程,是促进大学理性思维形成的过程。美国伊利诺伊州立大学教育学院林曾教授也指出,信息时代大学的决策模式已由英雄顶层决策模式和群众创新决策模式转变为以数据为基础的决策模式,这种决策模型要经过数据收集、数据处理和数据评价以及决策、对决策的评价和修正等系列过程,以达到为大学决策者服务的目的。
华中科技大学魏署光博士对美国院校研究的实证调查表明,院校研究在决策过程中所发挥的作用,不仅仅限于为决策提供数据分析,更重要的是以数据分析为基础,积极参与到决策过程之中。这种基于数据分析的决策支持可以归纳为数据性支持、分析性支持、咨询性支持以及协调与领导四个层次,从而不同程度地帮助院校应对管理上的挑战。
3.数据分析可以帮助我们揭开教育过程的“黑匣子”
清华大学教育研究院史静寰教授以“大数据时代”“大规模开放网络课程”(Massive Open Online Courses, MOOC)为引子,谈到在MOOC时代,教育数据样本量足够大,足以支撑各类测量学和其他数据分析的要求,可以很好地促进学习分析(leaning analysis)和教育数据挖掘(education data-mining)的实质性发展,从而有可能真正揭开教育(学习)过程的“黑匣子”。
桂林电子科技大学高等教育研究中心文益民教授则通过教育数据挖掘模型,形象地说明通过分类、回归、聚类、关联分析等数据挖掘手段,可以对学生学习行为数据和教师教学行为数据进行分析,并有针对性地将结果和建议反馈给学生、教师、教育研究者和教学管理者,从而帮助学生更好地学,教师更好地教,教育管理者更有效地管理。
魏署光博士谈及美国院校研究人员最为关注的内容,就是有关学生学习成果的评估,即通过各种数据分析帮助学校提高学生的学习效果和学业成就是院校研究的重要工作。
二、院校研究数据分析的对象与内容
数据分析如此重要,那么,我们主要利用什么样的数据以及主要分析哪些问题呢?在美国的院校研究中,除了有国家综合高等教育数据系统(IPEDS)和州级高等教育行政管理部门数据系统,还有各种各样的区域/专题研究数据库,各高校也有各自的学校业务运行数据库、学校综合数据库以及院校分析数据库。美国院校研究的主要内容则围绕着学生学习成果评估与项目评估、入学管理研究(Enrollment Management)、教师研究(如教师工资和生产力测量)、环境扫描与规划、财务管理与预算分析五大主题进行。虽然我国高校在各个层面数据库建设上的差距还很大,但从本次会议代表的发言和提交的论文中可以看出,我国高校已在有意识地尝试运用和挖掘现有的一些数据系统为本校发展过程中的各种管理实践问题服务。
1. 国家层面和院校层面数据系统初具雏形,专题数据系统作用开始凸显
国家教学状态数据库覆盖了全国不同院校的教师、学生、教学管理与建设、教学效果、教学条件、学科建设与科研、校园文化七个方面的内容,该数据库自2011年正式建成以来,已被很多高校用以对本校教学等问题进行评估和比较分析。华中科技大学公共管理学院许晓东教授以国家教学状态数据库中新建院校的相关数据为基础,对新建院校的办学统计特征、面临的问题及其原因进行了分析和总结,并在此基础上提出了促进新建院校科学健康发展的政策建议。
武汉软件工程职业学院蒋保涛老师也谈到他们学校正充分利用国家教学状态数据库,从多个维度为学校学科建设和教学质量等问题把脉,在与同类院校的比较中找到改进和发展的方向。而上海财经大学、复旦大学等已在学校业务运行数据库基础上建成统一的系统数据库及各类专题分析数据库,并开始通过这些数据系统为学校的管理决策提供有效支持。本次研讨会上,以“中国大学生学习与发展
追踪研究”(NSSE-China)专题调查数据为基础的分析是众多代表关注的一个话题。
2.战略规划、学科建设、院系评估以及学情调查是当前中国院校研究数据分析的重点内容
从本次大会发言和提交论文来看,为高校战略规划的制定服务依然是当前中国院校研究关注的焦点。空军预警学院院长蓝江桥教授在大会发言中谈到,针对当前院校战略规划制定过程中存在的定量分析不足、实证依据缺乏的问题,该校通过科学地收集有关院校发展的数据,并借鉴先进的战略规划工具,如SWOT矩阵分析和定量战略计划矩阵(WSPM)等,有效地提高了院校战略规划制定的科学性。北京石油化工学院发展规划处处长刘红琳在会议论文中对高校战略规划管理中院校研究方法的演进进行了论述。他将高校战略规划管理划分为静态战略规划管理、动态战略规划管理和全面战略规划管理三个阶段,相应地院校研究也由开始的重数据收集分析到重问题分析再转向综合性的动态合成分析,院校研究在促进大学向战略性组织转变过程中的重要性逐渐显现。东北农业大学发展规划处处长李岿然等则通过对国内8所农林院校“十二五”规划文本的比较分析,来把握农林院校改革发展的趋势,进而为本校制定战略规划来提高办学的效益和效率。
学科建设既是大学发展的中心工作,也是各类业务数据的汇聚点。上海财经大学郑策老师介绍了该校以学科信息平台为抓手,提升院校科学决策水平的实践。该校在构建覆盖学校核心业务的数据仓储基础上,已分别建设了教学状态、财务预算、科研成果和学生就业等不同主题的决策分析支持系统;面对学校学科体系优化和学科资源整合的需求,近年来院校研究人员整合各学科信息建立了学科信息平台,从学科状态、学科规划和学科评估三个方面提供相应的技术支持,为提升学校的学科建设和科学决策服务。三峡大学高等教育研究所李洁博士在会议论文中也以学科建设为切入点,在对10多所行业背景高校和地方综合性大学进行调研的基础上,通过对本校各学科现状的调查和评估及近三年本科专业签约率和科技成果转化率等数据的深入分析,提出面向行业与地方的学科发展战略和实施方案,以期为学校决策提供参考。
随着中国高校内部治理结构的改革,院系拥有了更多的资源和更大的自主权,如何对院系绩效进行评估是中国院校研究关注的另一个焦点。樊秀娣、张凤老师以同济大学8年来的探索实践为例,对该校院系绩效测评的经验进行了介绍。她们对其评估指标的选取、数据的来源以及信息的储存等问题进行了分析,并指出这项测评在学校管理和发展中起到了重要的作用,不仅使学校领导对院系运作和成效有更准确及时的了解和把握,并由此形成对院系更科学合理的规划和决策,而且帮助院系更全面客观地认识自身的优势和劣势,从而作出努力和改进。温州医科大学高等教育研究所周健民教授也认为,运用院系绩效评价指标体系对院系绩效进行评价并合理运用评价结果,对提高院系绩效进而提高全校绩效具有重要的现实价值。
提高本科教育质量是当今世界高等教育改革的重点,在中国现阶段,对人才培养质量的关注,也逐渐在注重保障师资条件和教学资源的同时,将注意力转向学生的学习效果测评方面。史静寰教授将院校研究对这一议题的应对分解为四个问题:高校实现教育目标方面的效果如何?学校和院系层面实施的教学改革效果如何?学生在大学四年期间的变化趋势是怎样的?特定学生在特定学习阶段的状态及变化趋势如何?这些问题都需要科学采集大量数据进行分析和回答。云南大学吴玫博士对该校2010年和2011年的“中国大学生学习与发展追踪研究”的调查数据进行了分析,围绕云南大学本科生学习性投入的五大可比指标得分在全国高校中所处的位置和所呈现的特点,揭示了云南大学不同背景的学生学习性投入的差别,并希望能将此项调查持续下去以便收集长期的数据来帮助学校发现学生学习的规律和存在的问题。河南科技大学田虎伟教授也以该校2009-2011年的“中国大学生学习与发展追踪研究”的调查数据为基础,通过与全国常模数据进行对比分析,探讨了该校学生在师生互动和校园环境支持方面得分下降的原因,并对学校如何提高教育教学质量提出了对策建议。中山大学屈琼斐副教授以该校的学情调查实践为基础,介绍了中山大学学生学习调查在学校管理决策支持方面的应用情况及经验,探索了把学情调查的结果分析与院校管理和决策需要相结合的决策支持模式,并为学情调查在中国高校的“本土化”应用提供了经验参考。作为高校教学质量评估的重要手段,学情调查已开始成为院校管理决策的重要数据来源。
三、院校研究数据分析的方法与技术
数据分析是进入院校研究领域所必须具备的基本技能,也是院校研究人员专业发展的重要内容。魏署光博士的调查显示,美国院校研究人员在入职初期(0-3年)的培训内容主要就是数据分析与统计工具、IPEDS及以外的数据报送、调查设计与操作以及数据仓储与管理等。数据只是一些离散的元素,本身并没有什么意义,只有通过联结和整合数据才能将其变为有用的信息,通过对信息的分析,最后才能转换为知识并产生行动和价值。那么,院校研究的数据分析有哪些方法和技术呢?
1.科学采集数据是关键
院校研究是建立在科学系统地收集相关数据基础上的,数据的科学性、系统性、可靠性决定着院校研究的有效性。
史静寰教授在《科学采集和分析数据是院校改进的坚实基础》的大会报告中强调,在采集数据中进行科学抽样,以便达到用最少的数据获得最多的信息非常关键。在“中国大学生学习与发展追踪研究”中,他们为推断全国总体采用了学校多重分层(地区、学校层次、学校举办者性质等)抽样的方法,为推断学校总体采取了学生校内随机抽样的方法,以此提高抽样精度和抽样效率。林曾教授也强调,在数据分析过程中,要特别注意数据收集的真实性,检测数据的信度和效度。别敦荣教授认为,院校研究需要采集和分析的数据包括主体数据和环境数据,而主体数据又包括历史数据和现况数据,获取数据的方法则包括文献搜集、问卷调查、座谈讨论以及建立数据库等多种方式。华中科技大学博士生陈琼英以采集教学服务型大学的相关数据为例,认为可通过多种渠道使数据全面而完整,如可用三方互证的方式对数据的可靠性把关。郑策老师则提出,为实现信息统计的准确性和及时性,需要特别重视构筑有助于院校分析数据平台运行的良好生态,从学校系统建设的整体角度强化数据仓储的建设,同时院校数据分析系统要充分考虑外部宏观环境变化和内部的创新与变革,高度重视数据系统持续调整和自我更新的可能性。
2. 以院校发展需求为导向,根据问题找数据
院校研究主要是根据所在院校管理者的需求,针对院校管理实践中出现的问题进行研究,从而为管理者的决策提供依据。侯志军副教授将这种模式称为按需定向的院校研究,即由决策者先产生决策意识指引下的数据和信息需求,进而让院校研究者进行研究。
陈敏教授对华中科技大学远缘跨学科研究现状的分析,就是缘于该校人文社科处想深入了解学校跨学科合作现状的迫切需求。她以跨学科学者合作论文为开展跨学科研究的标志,以2000-2012年中国知网中国学术文献网络出版总库(cnki)数据为数据源,采用社会网络分析法以及相关的统计软件UCINET,对该校以及参照院校的远缘跨学科研究的网络密度、相对中心度等进行分析,发现该校远缘跨学科研究不足,尚处于初级阶段,在此基础上分析了原因并提出政策建议。
武汉纺织大学在招生录取分数线下降的情况下通过分析历年数据找到改进对策,常熟理工学院在贫困生认定问题上把学生校园卡消费数据作为重要参考依据等案例,说明中国院校管理者们开始有意识地为自己的决策和政策制定寻找科学依据。
3.以专业敏感为驱动,根据数据发现问题
随着高等教育信息管理系统的逐步完善,可供院校研究人员运用、分析和挖掘的数据越来越多,院校研究人员可以利用其专业敏感,强化问题意识,从不同的数据中找到相关性,发现院校管理中的新问题。林曾教授对全美四年制大学的毕业率数据进行线性回归分析后发现了与预期假设不一致的结果,即学生服务方面的高支出对学生毕业率有消极影响,来自联邦政府的佩尔奖学金金额越大,毕业率反而越低;少数族裔群体比例越大,毕业率越低,由此得出保持大学的多样性和提高学生的毕业率、降低奖学金金额和保证学业保持率是美国大学面临的两难问题的结论。史静寰教授则通过对特殊人才计划培养过程的相关数据分析,发现关于资优生的培养忽视了志趣的养成,由此得出应探索适合现代大学理工科精英培养的通识教育和有效的人格德性养成途径的结论。侯志军副教授将这种根据数据发现问题的院校研究模式称为系统的内部驱动模式,即院校研究者根据院校发展的需要,将院校发展各个方面的数据和信息全面综合呈现给决策者,由决策者按需选择。但他同时强调,将数据和信息摆出来,并不能自然地推动院校决策,只有把握不同信息间的相关关系,从学校整体来认识和理解这些数据和信息,才可能推动形成决策思维。
4.注重数据的纵向积累、横向比较与整合利用
随着“大数据”的出现,数据的总和比部分更有价值。如果将多个数据集的总和重组在一起,重组总和本身的价值又比单个总和更大。因为拥有这些丰富的数据,大学不仅可以更好地明晰自己的问题,还可以通过同型比较和基标分析,找到自己所处的位置和今后发展的方向。
史静寰教授在阐述如何科学分析数据的时候,特别强调“有比较才有鉴别、才能判断”,比如全球化视野中的跨国学生学习比较;同一系统内不同类型院校学生的学习状况比较;作为学习主体的学生在大学教育不同阶段的比较等。正是通过将T大学与美国顶尖研究型大学的本科生学习行为进行比较分析后,她所发现的T大学的“大四现象”才得以浮出水面。而通过长期追踪抽样学生的数据(从入学前的基本情况到校内数据再到毕业后进入劳动力市场)建立长年追踪数据库,对政策研究具有深远的意义。一方面是因为教育效果往往具有滞后效应,只有长期追踪数据才能体现出来;另一方面,建立常年追踪数据库,学校或院系在经历教学改革、教育政策变化时,就可以通过双重差分估计、断点回归、倾向分数配对等多种科学的定量分析方法来研究这些变化给学生带来的影响,从而建立起学校政策制定基于数据分析的科学方法观。
屈琼斐副教授谈到,学情调查真正的决策支持作用还需建立在数据长期积累,形成稳定而全面的数据源基础上,仅仅对单所学校的数据进行分析过于薄弱,难以拓展数据的多方使用价值,在国内尽快成立学情调查联盟这样的开放式数据交换平台具有重要的现实意义。
5.定量数据与质性数据的结合
院校研究要想实现有效的决策支持功能,往往是将定量数据、质性数据以及相关决策情境整合起来进行分析。这也是特伦兹尼(Terenzini)提出的院校研究人员应具备的三种能力:技术智能、问题智能和情境智能。
史静寰教授很重视对问卷调查中开放题的分析,认为质性数据可以与定量数据互相佐证,或者解释定量数据所难以解释的问题,而只有运用多种方法(文件、档案记录、深度访谈、参与式观察等)采集多种质性数据,才能更好地分析复杂的教育现象。重庆市教育科学研究院刘耀博士在会议论文中指出,院校研究人员不仅需要描述发生了什么或正在发生什么,而且需要把这些发现置于组织过程、组织结构、决策者价值之中去理解。质性数据不仅可以为降低决策过程中的不确定性提供信息,提升决策支持的有效性,还能打破院校研究人员单一地提供数据、分析数据而与决策相脱离的局面。
6.数据分析的新技术与新趋势
张俊超副教授在大会报告中以具体实例展示了美国院校研究中一些数据分析的新技术。一是多层次、多角度的数据报表及在线分析处理(Drill-downdata report and OLAP)。这种技术的主要功能是对大学管理的一些关键问题进行实时监控,以便及时发现问题进行主动干预。二是仪表盘(Dashboard)技术。仪表盘技术通过选择大学发展的关键运行指标和比较对象以及确定基准目标,让决策者一目了然地了解运行基本状态,得到决策者所需要的重要信息。三是数据挖掘(Data Mining)技术。
数据挖掘和传统的数据分析不同。传统的数据分析是基于研究者已知数据元素之间的关系,并设定假设命题,然后用数据验证假设的真伪;而数据挖掘则是寻找未知的、研究者看不见的关系,通过强大的数据搜索和视觉化分析方式,系统自动找到新关系,发现新模式,以寻求未来的发展之道,其常用的方法有决策树、神经网络、关联聚类等。四是院校智能。院校智能是商业智能(Business Intelligence,BI)在院校研究中的应用,是一种最大限度地利用和分析数据,有效地使用相关数据进行决策,帮助改善院校机构惯例,提高管理绩效,发现问题与机会,使原始数据创造出价值的技术。
与会代表认为,这次研讨会结合大数据时代背景,抓住院校研究中的关键问题与方法,拓展了大家的思维,为院校研究人员的专业发展指明了方向,推动了中国院校研究朝着基于数据分析的决策支持功能实现的科学规范化方向发展。