复杂适应系统理论视阈下高职教育评估方法论原则的完善

摘 要 在简述复杂适应系统理论核心思想基础上，从复杂适应系统的七个基本点，即聚集、非线性、流、多样性、标识、内部模型、积木，论证高职教育是一个复杂适应系统。从理论与现实的角度审视，对高职教育评估方法原则进行完善是应然的。需植入的基于复杂适应系统理论的高职教育评估方法论原则包括：还原论与整体论相结合，注重高职教育的流与涌现；不拘泥线性归因，把握层次与整体的辩证关系；认知多样性，关注“适应性的创新”；把握随机性与确定性的统一，尝试模糊的教育评估。

关键词 复杂适应系统；高等职业教育；教育评估；方法论

中图分类号 G712 文献标识码 A 文章编号 1008-3219（2015）05-0054-06

2014年颁布的《国务院关于加快发展现代职业教育的决定》提出要“完善职业教育质量评估制度，定期开展职业院校办学水平和专业教学情况评估”[1]。按照复杂性科学的观点审视，高职教育是复杂系统，并且是复杂适应系统，有许多迥异于传统认知的特性。2004年启动的全国高职院校办学水平评估有力地推动了高职教育整体发展的同时，也存在不同层面不同程度的缺失，对高职教育的复杂适应系统特征认知的缺位或不足可能是致因之一。本文拟在论证高职教育系统是复杂适应系统基础上，就高职教育评估的方法论原则提出观点，以完善其方法论原则的系统。

一、高职教育系统是复杂适应系统

复杂适应系统（Complex Adaptive System， CAS）是一类复杂系统。CAS理论是美国约翰·霍兰（John Holland）教授于1994年在圣菲研究所（Santa Fe Institute）举行的“乌拉姆讲座”中首次系统阐释的。该理论已在经济、生物、生态、环境等相关领域获得一定应用，其思想已广泛渗透到众多领域。CAS理论的核心思想是：“适应性造就复杂性。”CAS理论把系统的成员称为具有适应性的主体（adaptive agent），简称主体。CAS理论认为，复杂性起源之一在于主体的适应性，正是这些主体与环境以及与其他主体间的相互作用，不断改变着其自身，同时也改变着环境，主体在这种交流的过程中“学习”或“积累经验”，并且根据学到的经验改变自身的结构和行为方式。各个底层主体通过相互间的交互、交流，可以在上一层次，或在整体层次上突现出新的结构、现象或更复杂的行为[2]。围绕主体这个核心概念，霍兰提出CAS的七个基本点：聚集、非线性、流、多样性、标识、内部模型、积木。其中，前四个是主体的特性，后三个则是主体。

从系统的角度看，高职教育由众多组分构成，包括各级教育行政管理部门、各类各级高职院校，还有各类物态条件与信息精神类元素等，其中，众多的高职院校是系统构成的主要组分。与系统紧密相关的系统环境包括各种高职教育利益相关者，如政府、社会、行业企业等。按照复杂系统理论及其CAS理论判定，高职教育是一个CAS。主要依据与表现如下。

（一）高职教育的聚集

高职教育系统中的众多组分彼此不是孤立的，存在着多重多维的联系，并且形成不同主体的“聚集体”。具体说来，在全国范围独立设置高职院校有1200多所，加之其他类型的高职教育机构数量就更大；并且组分种类繁多，涉及教育部、省市教育厅（局）、人力资源与社会保障部等相关部委、产业、企业、职教集团、职业技术院校、独立设置的成人职业高校、本科院校内设立的高职教育机构、具有高等学历教育资格的民办高职院校等；同时，这些组分都通过各种机制“粘着”形成不同的多主体的聚集体，呈现一定的层次结构，如以省部级为行政区划的高职教育（院校）集合，职教集团，行业（企业）背景的高职院校联盟等。

（二）高职教育的非线性

高职教育系统的运行与组分之间充满了非线性。首先，高职教育构成主体之间及其主体与环境因素之间的联系并非遵从简单的线性因果关系，而是复杂的交互作用，是双向甚至多向的交互关系。其次，高职教育的形态、特征和结果等方面是不能归结为简单因素或简单因素的线性叠加，过去的属性与现在的现象也难以直接互相解释。

（三）高职教育的流

高职教育系统与经济系统、社会文化和政治系统等存在着人流、物流、信息流和能量流等。具体看，高职教育的流的表现是多方面的：高职教育对象来源于社会，又要回归于社会，这种人员的流动是不断重复进行的；在实施产教融合、校企合作、工学结合培养模式过程中，高职教育与企业、产业等部门发生关联互动；高职教育的科研开发成果要提供给社会、转化为生产力，这需要与相关的社会部门发生联系；产业界的新科技也要反映在高职教育中；高职教育的文化建设也是所在省市社会建设的组成部分，与所处环境和社会组织有着较强的相互影响与制约；社会的思想观念、文化等通过家庭、社区和传媒对学生与高职教育系统产生影响。

（四）高职教育的多样性

高职教育系统内部各主体之间和主体与环境之间的相互作用、适应性行为、系统的演化，使系统内部形成不同的层次和结构，导致主体类型的多样性：其一，高职教育办学模式、投资主体的多样性等特征日益彰显。如高职教育的投资主体已由国家拨款体制，转变为国家、社会、集体、个人共同分担教育经费的新体制。其二，从综合办学水平划分的角度，高职教育形成了以示范、骨干校为标志的各类层级结构。其三，从培养模式看，随着高职教育的改革，模式越加丰富多样，其中，校企合作、工学结合成为我国高职教育的主导培养模式，并在实践中形成了具有范式色彩的具体实现模式，如顶岗实习模式、“工学交替”模式、项目驱动模式等。

（五）高职教育的标识

标识的作用在于个体的相互识别和选择，实现信息的交流，为个体之间的互动提供先导。高职教育中的标识与基于标识的互动是非常普遍的。高职教育经过多年发展形成了丰富的主体、层次，并且都有良好的标识。现实中这种标识常以“名称”信号形式表达，如“高职教育”“XX职业技术学院”“XX职业大学”“XX职教集团”，又如政府管理机构有“教育部职成司”“XX教委高教处”“XX教委高职高专处”“XX职教中心”，等等。除了这些“常设正规”组织以外各类命名组织更是比比皆是，如职业教育改革实验区、示范校等。

（六）高职教育的内部模型

高职教育系统的组分是多元的，其中，各类高职院校、教师与学生无疑是主要成分。就高职院校主体而言，显然是具有自觉的、能动的、判断力的以及对环境的主动反应能力。在这个过程中，高职教育的“内在机制”在发挥着作用，这个内在机制是一个复杂的“有机体”，机制的核心目的是维护自身的存在与发展，培养社会需要的技术技能型人才，这种机制即为高职院校主体的内部模型。教师和学生显然都具有自适应性，能够与环境以及其他主体进行交互作用，具有自身的目的性与主动性。正是在教育者和被教育者的主动性驱使下，以及与环境、知识载体与实训体系的反复相互作用下，使得教育目标得以实现，也使高职教育系统得以发展进化。其中，作为主体的教师和学生是充满智能的，对环境不断作出预测与反应，并在反馈中调整自己，其内部模型起着中枢调节器的作用。

（七）高职教育的积木

CAS理论认为，复杂系统常常是一些相对简单的积木通过不同组合方式而形成的，原有积木基础上的重新组合是导致系统复杂性增加的路径。高职教育系统可以认为是由各类高职院校、政府管理部门、背景行业管理机构等为积木组合而成；高职院校可以认为是由各类班级、学生与教师等为积木组合而成。高职教育的“教育事件”也具有“积木性”，如学校的学习、企业的顶岗实习都是“学习积木”，将其组合可以形成“工学交替”等培养模式。

二、复杂适应系统理论下的高职教育评估方法论原则的完善

（一）高职教育评估方法论原则完善的应然性

所谓高职教育评估是指高职教育质量评估，高职教育质量是指作为客体的高职教育特性满足作为主体的高职教育利益相关者的需求与程度的状态，是一种客观状态；高职教育评估是对高职教育质量进行判断的精神活动，是一种主观状态[4]。因此，高职教育评估不能背离高职教育的属性特征与发展规律，应该将其建立在这些属性特征与发展规律的客观基础上；同时，高职教育评估也关联评估主体的高职教育质量的价值观与方法论。

一般认为，方法论原则是世界观与具体方法之间的中介，制约着研究过程的各个阶段与环节，是整个方法论体系的基础与核心[5]。高职教育评估方法论体系，是高职教育评估整个环节的设计、实施方法的观念、具体方法、技术等的集合，涉及评估标准的制定、评估指标体系的设计、评估模式的设计与选择、评估资料和数据的形成方法、评估结果的使用与发布等，基础观念涉及高职教育属性与规律认识、评估目的、价值观和质量观，基础理论涉及教育学、系统论、管理学、统计学与评价学等。纵观高职教育评估方法论的研究与实践，尽管语境与角度不同，但其方法论体系的基础与核心即评估方法论原则的“硬核”基本包括这样几点：客观性原则、一致性原则、全面性原则、目的性原则、单项评估与综合评估结合原则、定性分析与定量分析结合原则、静态评价与动态评价结合原则、评估与指导结合原则[6]。这些原则有着理论基础，也是评估实践的经验总结，是保证评估质量的重要的方法论基础。

随着高职教育的发展，人们对高职教育认知的深入，对高职教育评估功能、目的的多元化诉求有所提高，现有的高职教育评估方法论原则系统显得不够完善。以往在高职教育评估中存在着对高职特殊规律强化不足、鼓励创新不够、开放性不强、以点概面结果失真等[7]。某些缺失也在一定程度上昭示着对传统方法论原则系统完善的应然性。应将基于CAS理论的方法论原则与前述方法论原则有机整合，形成与现代高职教育评估相适应的方法论体系。

（二）高职教育评估方法论原则的完善

借鉴有关复杂系统方法论原则的研究[8]，以及CAS理论的启迪，笔者认为，需植入高职教育评估方法论原则，可概括为如下几点：

1.还原论与整体论相结合，注重高职教育的流与涌现

还原论遵循的是把事物分解成局部或低层次事物来研究，以低层次或局部的特性解释高层次或整体的结果。随着现代科学的发展，特别是面对解决复杂性问题的需要，还原论方法受到严重挑战。对于自组织、混沌、涌现、自适应现象，还原论方法难以驾驭。CAS理论作为复杂性的一种理论，通过把系统元素理解为活的、具有主动适应能力的主体，引进宏观状态变化的“涌现”概念，解释了从简单中能够产生复杂的现象[9]。

基于CAS理论的视野关注以往的高职教育评估，不足是高职教育评估的出发点、评估体制设计等几乎完全建立在还原论的基础上。其基本表现在。首先，评估的指导思想认为，教育成果、教育现象与事件等都是某些确定性因素的直接结果，换言之，教育现象与结果都可表达为这些因素质与量的函数。其次，构建指标体系的方法论基础是以还原论为主宰的。指标内涵与外延确定的知识经验基本都建立在还原论为统帅的学科与经验背景下。第一轮高职评估内容包括：办学指导思想、师资队伍建设、教学条件与利用、教学建设与改革、教学管理、教学效果、特色项目等7个一级指标和15个二级指标；第二轮评估内容包括领导作用、师资队伍、课程建设、实践教学、特色专业建设、教学管理、社会评估等7个一级指标和22个二级指标。按照教育评估学的理论，上述指标一般可分为效果指标、效率指标、职责指标与素质指标[10]。在指标设计过程中，效果指标主要依据教育学理论与专家经验，效率指标主要依据教育经济学相关理论，这两种指标的定量部分一般都用到了统计分析等技术，但无论是教育学、教育经济学、统计学还是专家经验等，一般都建立在确定的因果链条假设或信念基础上。

高职教育属性是复杂的，既具有能够运用还原论方法近似解释的部分，也具有不能用还原论解释的部分，所以需引入“还原论与整体论（活力论）相结合”的方法论原则。另外，自组织、自适应、涌现这种特征在当前高职教育处在激烈变革的情形下也常显现，因此宜“注重高职教育的流与涌现”。具体而言：其一，高职教育是动态的、演化的，因此要以发展的、变化的理念看问题，评估中力避僵化、固态思维。这点在2008年启动的第二轮评估的设计理念上得到了体现，正如时任教育部高教司司长张尧学所说：第二轮评估“评动不评静”，评价学校的人才培养过程，要从动态过程看学校和社会经济发展的结合程度[11]。其二，高职教育与环境（经济社会、产业行业等）经常进行人的、物的、信息的、能量的、财务的、事件的交流，这是高职教育适应性发展的条件，因此，高职教育与环境的交流属性也是评估中要特别关注的，如在评估指标体系中加强或增加高职教育与社会相关组织交流的指标；另外，评估信息的公开与交流，评估结果的社会传播也应作为评估系统设计不可或缺的组成部分。在第二轮高职院校评估设计中，这方面就得到体现与加强，张尧学指出：“应根据实际情况，按指标体系规定的各项写实，并上到网上，让社会、家长、学生等都能够看到。现在做不到的话，以后也要逐步做到。使信息公开，让社会、家长、学生会根据信息进行自我判断。学校投入、办学模式、实验实习、基础课教学、师资等方面的情况都要公开。”[12]其三，高职教育的构成元素是“活的、主动的、适应性主体”，会产生“自主的行为”，因此评估中也要注重教育事件、个体行为，给予合适的评估。有学者在谈到两轮评估指标需要改进的地方时也指出了“宏观整体综合有余，而对院校内部微观教育单元关注不够”[13]。

2.不拘泥线性归因，把握层次与整体的辩证关系

局部与整体、组分和系统、个体与群体的关系与相互转化规律是系统科学重要的研究范畴。把握不好或忽视层次与整体辩证关系，容易导致的缺憾主要表现在如下几点：其一，确认指标作为整体等于部分或下层元素的“代数和”，恪守通过将指标层层“线性分解”来构造指标体系的方法。这种做法在某种情形下或对某种指标的设计常会存在“失真”的风险，特别是对那些下层元素对上层指标“属性涌现”现象突出的指标。其二，在指标分解过程中层次关系把握不准，与环境进行交流时的机制[3]。这七个特性也是判定CAS的标准错位，如将不同层次的指标放在同一层次，或指标分解中将更低层次的指标作为该指标的下一级指标。从以往高职院校评估过程看，存在以点盖面、以偏概全，夸大成绩，甚至是弄虚作假的现象，这与参评的目的与态度不纯有关，在指标设计中的分解不适切、不完备也为滋生此类现象提供了土壤。其三，有些指标分解过细但不全面，造成子指标的整合并不能反映指标的状况。其四，以往高职教育评估对表征“关系的”、组织之间协同状态的评估指标设置尚显不足。

CAS理论的关于层次与整体关系的观点表明：其一，在对高职教育评估过程中，不可避免地要对评估指标进行分解，但分解一定要控制在合适的阈度。如前所述，以往高职教育评估或迎评中的偏颇之一是指标或观测点分解得“过细过深”，并且在其内涵表述中多有“精细要求”，这样虽然便于操作，但却忽略了“因素与结果”的非线性、涌现的属性。这样做也在操作层面带来不利影响，一是容易诱发被评者按“精细要求”逆向操作博取高分而偏离宗旨；二是也容易使被评者认为“精细要求”是该项工作的“标准答案”，而在以后工作中“照单执行”。其二，要把握好评估的层次性，掌控好层次在属性上的规定性，关注同层次组分的协同性；注重不同层次之间的关系，特别是由低向高的自组织、涌现关系。鉴于此，可设置高职教育组分之间关系的评估指标，以期测量系统组分之间协同的品质；设置描述高职教育及组分发展演化的动态指标，用以测度系统的“活性”。其三，体现整体性思维。整体性思维表明，高职教育的成果或事件在一定意义上说是包括学校、社会、行业企业和家庭等在内的多主体共同作用的结果，因此在高职教育评估中应将这种规律包括进去，作为评估设计的指导思想之一。整体性思维提示高职教育评估中的判断行为不仅要看到被评对象的不同侧面，更要对对象有一个整体把握，不能只见树木不见森林。有关研究在总结首轮高职院校教育评估的不足时指出，考察面过宽，导致缺少“灵气”，缺少总体“图像”，影响“整体”判断[14]。这从另一个角度印证了整体性思维的不可或缺。遵照整体性思维推想，在高职院校的高层次部分（如示范校、骨干校）可尝试审核评估模式。审核评估不设指标体系与统一标准，只廓定审核范围，审核评估是在审核范围内依照学校自设目标与标准实行评估。2011年，《教育部关于普通高等学校本科教学评估工作的意见》中提出，将对已通过合格等评估的本科院校中进行审核评估[15]。其四，对某些指标的量化模型尝试引入“非线性”模型，如可采用复杂系统模型，计算智能逼近模型，包括神经网络、智能优化等，这对于涌现特征突出指标的描述是较适切的量化方法。

3.认知多样性，关注“适应性的创新”

CAS理论指出，CAS在与环境的作用及其主体之间的适应过程中，会形成分化造成个体类型的多样性；同时，主体在适应过程中会调整反应规则、内部模型，宏观尺度上会有“新结构”的“涌现”。对后者不妨称为“适应性的创新”。可以看出，适应性创新是导致多样性的有效路径；多样性是适应性创新的外在表现。

藉此观照以往高职教育评估，其不尽如人意的地方表现在：其一，过分强调或放大个体之间一致性的一面，对个体的多样性关注不够。有些研究指出第一轮高职院校评估的不足：从评估方案的设计思想看，评估方案注重引导高职院校遵循高等教育的共同规律，而对职业教育的特殊规律强化不够。评估标准过分强调统一，考虑地区、行业、院校的特点欠缺，更没有考虑到动态发展。评估的分类指导作用有待加强，评估方案对体育、艺术、师范、公安等特殊类型的院校，针对性不够[16]。例如，用一个比较细腻的统一评估标准去衡量不同类型的或不同外部经济社会环境的高职院校，结果使有些评估陷于僵化或与被评对象的性态相去甚远，从而也使评估的激励作用打折扣。又如，高职院校由于环境资源的不同与传统禀赋的相异，会在高职院校及其内部系统运行的具体形式上有所不同，导致对不同被评对象来说在某些领域会呈现不同的样态。基于存在与发展的角度判定这是客观与合理的。但在以往的评估中，有些评估指标或指标“观测点”将这部分本该多样化的“实践选择”的内容固化，并制定形式化的“规范要求”，这显然是无益的。譬如有些区域在高职院校教育评估中规定学科组（或教研室）的教研活动一定要有符合一定格式的记录等，由此致使有些院校在迎评中开展“群众运动”补编记录，其结果“劳民伤财”，与评估宗旨南辕北辙。其二，对高职教育的适应性创新的“体制性漠视”，就是说，按照以往的高职教育评估体制，高职教育的适应性创新行为一般常不被重视、纳入关注视野的，因为评估指标或标准一般强调的是规范、缺少变通的部分，而且评估过程基本也是程序化操作，致使指标涵盖以外的创新信息、事件很难映入视线。教育部高职高专评估委员会原主任委员杨应崧教授在总结第一轮评估的缺憾时认为“从评估方案内容和评估工作实施来看，评估方案对于高职院校基本建设和教学管理规范性要求较高，鼓励创新不够；评估实施的开放性不够”[17]。

按照CAS理论的关于多样性与“适应性造就复杂性”观点，在高职教育评估中要重视以下几个方面：其一，确立高职教育（院校）多样性认知的共识，评估中在兼顾高职教育公共属性的基础上充分考虑其多样性的一面，秉持“每个高职院校都是独立的存在”的理念。其二，在操作层面建立体现高职教育基本属性而有区别的评估体系。具体做法是：制定体现基本属性的评估指标，并以此为核，结合高职教育的“区块划分”（如行政区划、经济区划、背景产业行业类型、办学类型、专业职业类型、环境的教育发展程度区划等）制定符合区块特征的评估指标。这些评估指标的价值取向有两点：一是高职教育（院校）要适应“区块”经济社会的发展需要；二是要有引领性，即高职教育（院校）及产出（如毕业生等）对“区块”经济社会的发展有引领作用，如学生的智能培养规格要适度高于“区块”经济社会的现状。其三，保持对创新、新生事物的敏感性与洞察力，并给予客观的评估。具体讲，建议在指标体系中系统增强有关创新的评估指标，并要注意在指标内涵界定中要保持一定的开放度，避免有些富于价值的创新不能涵盖其中。创新涉及的方面可以是规则的、机制的、组织的、体制的，抑或是与其他类型教育、其他区域院校、其他院校比较有特色的方面等。对创新评估的价值取向应放在创新合目的性与合规律性的统一的判断上，对于合目的性与合规律性相统一的创新应给予正向评估，否则要在分析鉴别的基础上指出创新的优劣点或改进方向。

4.把握随机性与确定性的统一，尝试“模糊的”教育评估

随机性与确定性也是CAS理论的重要内容。该理论认为随机性体现在：一是来自环境刺激的随机性；二是主体反应的随机性；三是新规则产生的随机性。确定性主要表现在：一是关于随机性的理论框架是确定的；二是虽然系统具体的演化目标不能明确，但在一定环境刺激下系统发展方向是可确定的。高职教育作为CAS也充满了随机性与确定性。高职教育现象不像工程那样可以精确预知结果，其教育目标和教育效果的达成并不能全然用“目标手段效果”模式概括。

依照上述观点检视以往的高职教育评估，主要缺憾有两点：首先，对评估结果过度追求“精微的数量描述”，以确切的分数来表征高职教育（院校）发展程度、功能发挥状态、教育目标实现程度等。这样做的主要问题是所谓“精确的数字”未必能真实刻画被评对象的性态，原因有三：一是高职教育的结果或指标本体带有一定的随机性，导致评估分数带有一定的不确定性、模糊性似乎才是合理的；二是评估本身产生误差，包括子指标评估的误差，子指标分值集成过程的误差等；三是评估数学模型的系统误差，现行评估的数学模型多为“综合加权平均”的线性模型，用这种线性模型模拟非线性的系统决定了误差的必然性。有些学者对首轮高职院校教育评估得失也指出“评估指标刚性过大——量化指标过多”[18]，量化情结浓厚[19]。其次，从评估的效应看，评估分数无疑具有优劣“标识”作用，现实中微弱评估分数差异可能会在人们心理会产生巨大的差异映像，由此容易诱导“分数崇拜”，激发“优秀情结”。正如有关研究所言：“从评估结论的等级看，设计优秀、良好、合格、不合格四个等级，在强化了评估工作推动力的同时，也造成部分高职院校对评估结论的过度追求。事实证明，多等级的水平评估的确有较强的推动力，但也使部分学校不切合实际地一味追求优秀等级，出现了弄虚作假、形式主义的问题[20]。”

综上得出，高职教育评估中宜融入一种动态的、“模糊的”评估方式。具体可从如下几方面入手：其一，从观念层面树立科学的“数量观”，摒弃在教育评估中“越逼近精确的数量描述越科学”的片面数量观，以及在指标体系设计中过度量化的倾向。在某种意义上说，教育事件或结果是随机性与确定性因素共同作用的效果，由此也决定了其数量描述适宜采用模糊性与确定性相结合的形式。其二，从技术层面给定性的、“模糊的”评估方法应有的位置。关于不确定评估技术比较丰富，如概率方法、模糊评估、直觉模糊集方法、灰色评估、粗糙集方法、神经网络、层次分析法、证据理论、智能方法等，在评估实践中需结合指标的特征选择采用。其三，评估结果的公布、社会传播一般宜采用“定性”形式。事实表明，“体制性”的评估结果及其传播无疑会有“标识优劣”的作用，如果以这种貌似精确数量标识优劣、排序，一则未必真实，一则也容易引起人们“锱铢必较”，而偏离自身工作持续改进这个评估宗旨。但还需注意，评估结果的社会公布亦应具有一定的“标识”作用，像“第二轮评估”完全摒弃了等级，同样不利于高职院校在教学质量方面的比学赶超[21]。

参 考 文 献

[1]国务院关于加快发展现代职业教育的决定[EB/OL].[2014-11-10]. http：//www.jyb.cn/zyjy/zyjyxw/201406/t20140622_587161.html.

[2]许国志，等.系统科学[M].上海：上海科技教育出版社，2008.

[3]约翰·霍兰.隐秩序—适应性造就复杂性[M].周晓牧，韩晖，译.上海：上海科技教育出版社，2000.

[4]高文杰.基于价值哲学的高职教育质量与评价标准的检视[J].教育学术月刊，2014（11）：55-62.

[5]陈波.论方法论原则的核心地位[J].社会科学，1990（10）：70-77.

[6]张玉田，等.学校教育评价[M].北京：中央民族学院出版社.1987.

[7][10]胡寿根.高职院校教育评估指标研究[M].北京：高等教育出版社，2014.

[8]黄欣荣，吴彤.复杂性研究的若干方法论原则[J]. 内蒙古社会科学：汉文版，2004（2）：75-81.

[9]陈禹.复杂适应系统（CAS）理论及其应用[J].系统辩证学学报，2001（4）：35-39.

[11][12][19]张尧学.在新指标体系下扎实开展高职人才培养工作评估[J].中国职业技术教育，2008（15）：32-35.

[13]周建松.构建开放、多元、立体的高职教育质量评估体系[J].中国高教研究，2012（8）：89-93.

[14][16][18][20]课题组.高职高专院校人才培养工作水平评估绩效分析研究[J].教育研究，2011（8）：24-30.

[15]李志义，朱泓，刘志军.审核评估范围结构及内涵解析[J].中国大学教学，2013（9）：74-79.

[17]杨应崧.高职高专院校人才培养工作水平评估实践回顾与思考[J].中国职业技术教育，2006（16）：8-11.

[21]张耀高.高职教育质量评估与保障体系的完善[J].职业技术教育，2012（7）：58-62.