"第三方评估"通常包括独立第三方评估和委托第三方评估,其实质是区别于由政策制定者和执行者进行的评估,是一种外部监督制衡方式,其主体具有多样性,包括行政机关委托的高校、专业评估机构、中介组织、网络媒体、社会组织和公众,特别是利益相关者参与等多种。本文所说的第三方评估是政府委托社会第三方机构通过电话、互联网等方式调查访问事业单位服务对象、市民等群体,对事业单位绩效进行评估的活动。近年来,青岛市在对教育、民政、医疗卫生、文广新等与公众息息相关的事业单位的监管和绩效评估中,引入了第三方评估机制,收到了良好成效。 一、青岛市开展事业单位第三方评估的实践 (一)以事业单位公益属性为评估核心建立第三方评估机制 以市委办公厅和市政府办公厅名义印发《青岛市事业单位绩效考核办法(试行)》,明确在对事业单位考核的指标中加入"社会评价"指标,涵盖职责履行、依法行政、文明服务和服务质量等方面的社会满意度,并建议通过统计等部门综合运用问卷调查、电话访问等方式进行,调查对象要体现代表性和广泛性,调查的有效性样本一般不少于200个,为开展事业单位第三方评估工作提供了政策支持。 为推动第三方评估工作制度化、规范化、程序化,市事业单位考核委员会办公室(以下简称"市事考办")建立完善了第三方评估流程。一是制定评估方案。市事考办牵头,教育、民政、卫生计生、文广新等举办单位,根据所属公益类事业单位的中心工作制定年度第三方评估方案,明确评估的目的、对象、内容、标准、方法及完成时限等事项,特别在被调查对象选取上要求坚持"知情人评知情事"的原则,确保评估的针对性和准确性。二是选择评估机构。以政府采购方式,选取权威专业的第三方评估机构开展工作。三是制作调查问卷。市事考办、举办单位、评估机构的专业人士联合参与到评估问卷设计中,制作了科学合理的调查问卷。四是开展科学评估。通过电话问卷、互联网等方式全面采集数据信息,广泛收集意见建议,深入了解真实情况;评估过程中运用技术手段或专人监督,严格做好信息保密工作。五是运用评估结果。根据评估结果撰写针对性的评估报告;将评估结果作为重要分值纳入事业单位绩效考核指标,并将结果向社会公示,充分发挥其激励约束作用。 (二)科学制定评估方案,为评估工作顺利开展打下坚实基础 市事考办每年9月下发关于做好年度事业单位绩效考核工作的通知,通知中明确重点对事业单位履行公益服务职责等方面的社会满意度进行第三方评估;制作了开展第三方评估的方案模板,包括调查目的、调查内容、调查对象、调查范围、调查方式、调查时间、调查实施单位等内容。 方案制定过程中注重汇聚各方力量,市事考办联合举办单位通过深入调研、专家论证等方式,确定评估步骤和标准,建立指标体系,明确评估方法,并征询评估对象和评估实施机构的意见,最终形成评估实施方案。评估方案经审核通过后,由履行政府采购程序后选取的第三方评估机构组织实施。 (三)科学合理设计调查问卷,确保了第三方评估的针对性和有效性 市事考办、举办单位注重吸收各有关行业和部门的专家、高层次专业人才参与问卷设计。设计中,坚持针对性、全面性、通俗性、可比较的原则,从事业单位履职的公众满意度出发,涵盖了硬件设施建设、日常管理、主要职责履行、文明服务和公众意见建议等方面,设置的问题选项便于评价且易于区分。具体来说,具有四个特征:一是操作性强。合理确定问卷容量,每份问卷一般5-8分钟可以完成,避免引起被调查者厌烦和畏难情绪。二是优化度高。指标和问题在优化精炼的基础上,尽可能契合调查主体,涵盖事业单位主要职责。如教育系统满意度调查问卷,涵盖学校管理、课堂教学、教师行为、校园安全、德育实施、学生身体健康等多个方面;医疗卫生满意度调查问卷涵盖医疗技术水平、服务态度、廉洁自律、就医环境、群众就医感受、提升医疗服务建议等方面,军休机构满意度调查问卷涵盖待遇落实、文化活动、服务水平、工作态度等方面,基本涵盖了学校、医院、军休机构等事业单位的主要公益服务职责。三是问题科学合理。问题具体表述上措辞严谨亲切,文字通俗易懂,提问客观公正,答案意思明确、界限清楚。四是结果易于处理。问卷满意度选项一般设置"满意、比较满意、一般、不太满意、不满意"等具体分级,易于量化评估和数据处理。 (四)严谨规范开展调查评估,精准把脉事业单位公益服务情况 调查评估过程中,市事考办、举办单位提前向被委托的评估机构提供该年度事业单位全部服务对象的联系方式,或通过互联网建立了针对服务对象的调查评估平台,通过电话访问、网络问卷填写等多种方式开展调查评估;注重收集意见建议,特别当被调查对象出现"不满意"情况时要求准确记录、深入了解真实情况,确保针对性进行工作整改。由于被調查对象针对性强,基础工作准备充分,细节考虑周全,调查手段现代化程度高,保证了第三方评估的覆盖范围广、被调查对象配合度高、调查评估结果客观真实。 青岛市事业单位绩效第三方评估主要采取以下两种方式:一是通过计算机辅助电话调查系统(CATI系统),以电话访问形式进行调查。调查中,由经过专业、系统培训的访问员坐在计算机前,面对屏幕上的问卷,向电话对面的被访者读出问题,将受访者的回答结果实时记录到计算机中;督导人员在另一台计算机前对整个访问工作进行现场监控。通过该系统,以更短的时间、更少的费用,得到了更加优质的访问数据,所得数据可被各种统计软件直接使用。该调查方式具有调查速度快、样本覆盖广、客观性强、精确度高、调查现场集中等优势。目前,民政、卫生计生、文广新等系统所属事业单位的第三方评估基本采用该种方式进行。二是以"互联网+评估"方式进行调查。教育系统创新打造了"中小学社会化评价网络平台",利用"互联网+"现代信息技术手段,让家长、学生及教师在网上参与对学校教学质量的评估。调查对象只需通过网络登陆平台,输入匿名密钥,即可安全、方便地填写调查内容。在调查结束后,运用统计分析法、综合评判法对数据进行科学分析统计。分析完所有数据后,向每一所学校下发细化到年级的分析表和开放问题统计表,帮助学校及时了解目前存在的问题。该调查评估方式的调查对象多样、填写问卷便捷、答卷信息私密、统计结果准确,不仅能够便捷地让家长、学生、教师等主体参与到评价学校教育质量当中,更能科学有效地对评价结果数据进行分析与反馈,帮助评估对象进行工作改进。 (五)加强评估结果运用,建立了奖优罚劣的良好氛围 现场调查结束后,由评估机构汇总、统计、分析调查结果,并出具评估报告,报告内容主要包括基本情况、评估内容、评估方法、评估结论和意见建议,以及需说明的其他问题;评估机构负责人和报告签署人对评估报告的真实性、客观性、公正性负责,并承担相应的法律责任。第三方评估结果和报告均反馈到各举办单位和事业单位,各举办单位督促事业单位针对具体问题,完善工作措施,加大工作力度,不断改进提升工作质量和服务水平,实现了事业单位运行"执行—评估—改进—再评估—再改进"的良性循环。扩大评估结果运用范围,合理确定评估结果占绩效考核指标的比重,并实行考核结果与干部使用、评先树优、绩效工资、机构编制调整的"四挂钩",激励事业单位不断提升自身管理服务水平和公益属性。 为建立有效的激励约束机制,市事考办对事业单位的年度绩效考核等次确定中,第三方评估结果占总分值的15%以上,评估得分较高的单位予以加分。进一步加强对考核结果的运用,例如,被评为A级的单位,下年度进人用编计划由市编委办予以重点保障,不再列为随机抽查对象;评为C级的单位,下年度进人用编计划暂停办理,并列为重点抽查对象。市事考办将考核结果作为重要的信用信息,通过网络等媒介进行社会公开,接受各方监督,营造了奖优罚劣的良好氛围。 二、第三方评估存在的突出问题 (一)缺乏系统化、专业化的体制机制保障 第三方评估作为一项创新工作,目前仅有《青岛市事业单位绩效考核办法(试行)》等文件作出了一些原则性规定,既缺乏足够的政策法规依据,也无一定的现成经验可循,各单位开展评估活动随意较大,经常随着工作重心的转移或领导的更迭而兴起或沉寂,缺乏持续性,有的最终流于形式,影响了评估的力度,降低了评估的效果。评估的结果应用相对乏力,缺乏奖优罚劣的有效手段,一些事业单位缺乏改进工作、提升服务的积极性和主动性。同时,第三方评估工作受财力等因素制约较大,影响着调查人员数量、调查样本选定、问卷问题设置等事项。 (二)第三方评估市场发展不成熟,评估机构独立性、专业性有待提高 一是第三方评估市场发展不成熟。第三方评估在我国起步较晚,部分地方政府对评估机构的支持力度不大,真正专业、独立的第三方评估机构数量较少,且缺乏资金、专业人才和信息等资源,影响了第三方评估的科学有效开展。二是第三方评估机构独立性难以保证。第三方机构虽然是受政府部门委托开展评估,但问卷指标设定、评价方法选取等方面受委托机关的干预明显,第三方评估实质上仍未真正脱离政府机关的自评。三是评估机构专业水平有待进一步提高。第三方评估机构的人员目前多由兼职在校大学生、社会非专业人士组成,存在人员流动性强、调查人员不足、部分人员专业素养不高、培训不到位等问题,且社会上专业化的教育、培训等尚未发展完善,难以支撑其高标准、高质量地完成评估工作。 (三)调查问卷设计存在不够科学合理的问题 高质量的调查问卷是保证评估效果的前提,目前事业单位绩效第三方评估调查问卷在设计中或多或少存在结构不合理、内容不规范、选项不科学、用语官方化等问题。例如,部分调查问卷设置了10个以上问题,可能因占用时间过多,引起被调查对象不耐烦;部分单位调查问卷的最后一个问题为对事业单位工作质量的总体评价满意度,而问卷的其他问题已基本涵盖了事业单位主要工作,问题设计重复,被调查对象往往会因某一事项的不满意,全盘否定该单位工作,影响了调查的准确性;部分问卷仅统计满意度,不记录分析不满意原因和意见建议;部分问卷仅设置"满意、基本满意、不满意"或"有、没有、不了解"选项,导致调查结果难以准确反映真实情况;调查问卷在表述中难以避免地使用一些官方化语言,部分问卷在最后缺乏结束问候语,影响了被调查对象的感受等。 (四)被调查对象的"被动参与"影响评估效果 目前,第三方评估的被调查对象多为"被动参与"的普通市民,最主要的特点是在没有准备、极少思考的情况下,被要求在有限的时间内对事业单位的工作作出选择性评价。这样的参与受市民自身能力素质、对被调查事业单位职责等信息的了解度、接受事业单位服务覆盖度等方面制约,在一定程度上造成了评估的盲目性。如在对医疗卫生满意度调查问卷中,被调查对象为在医疗机构就诊的市民自己或者家人,一些市民可能并没有准确了解家人就诊情况却回答了问卷,影响了调查结果的准确性。 三、优化事业单位绩效第三方评估的思考 中共中央《关于深化行政管理体制改革的意见》提出,构建科学合理的绩效评估机制,一方面要对绩效评估的适用领域具有科学的认知;另一方面,要准确把握绩效评估的价值导向,完善评估机制和制度模式,实现执行力与公信力的有机统一。在完善事业单位绩效第三方评估方面要注重以上两方面要求,不断提升第三方评估机制的完备性,提高第三方评估机构的专业性和权威性。 (一)激发市场活力,培育更多专业权威的第三方评估机构 能够独立承担民事责任、具有相对稳定的专业评估人才队伍、内部管理规范、社会信誉良好是专业、权威的第三方评估机构应具备的基本特征。政府应以推进"放管服"改革为契机,加大对第三方评估机构的政策扶持力度,出台相关配套政策,给予更多资金支持,完善信息公开等制度,激发市场活力,培育更多专业、权威的第三方评估机构。加强评估专业人才培养和队伍建设力度,做好专业化的教育培训工作,使专业人才队伍的数量、结构和素质能力能够适应第三方评估工作的需要,更好满足政府、社会和广大人民群众不断增长的服务需求。 (二)完善政策法规,确保评估工作有据可依 第三方评估机构参与事业单位绩效评估需要政策法规的有力保障。有关部门应在认真研究和总结各地开展事业单位绩效第三方评估的经验基础上,出台相关规范性文件,从制度上明确第三方评估机构的独立地位,详细规定第三方评估主体的权利和义务,使第三方评估成为事业单位绩效评估体系的必要组成部分。在实际操作过程中,对评估主体评估什么、怎么评估、结果如何使用、评估应注意的问题等方面做出规定,使评估工作规范有序、客观公正。此外,应建立第三方评估工作财政保障机制,进一步扩大工作实施范围,力争实现公益类事业单位第三方评估全覆盖。 (三)加强组织领导,推进评估工作规范有序实施 有关部门要统筹规划好第三方评估的组织实施工作。一是在评估工作前,要就事业單位可能存在的问题、群众普遍关心的热点进行分析,科学制定评估方案;对利益相关方进行梳理,尽量排除实施过程中的阻力因素;对评估机构实施公开招标,遴选出最适合的机构承担评估工作,还要对委托合同进行细化,明确第三方评估机构的职责,确保其行为规范有序。二是在评估工作中,加强对第三方评估机构的监督,确保全程都依照有关要求实施。三是在评估结束后,要监督事业单位根据第三方评估意见,及时改进发现的问题,确保评估最终目标得以实现。 (四)做好问卷设计,确保评估的专业性和针对性 调查问卷应结合事业单位行业特点,围绕年度主要工作、群众重点关注等方面设计制作。借助高校、专业机构等单位专家的力量,组建第三方评估团队参与设计,尽可能提高问卷的专业性。推行评估问题公开征集机制,在问卷设计前,通过政府网站、官方微博微信、新闻媒体等途径及时、客观地公开事业单位的主要宗旨及业务范围、年度工作目标、年度工作总结等信息,将评估问题的选择权交给公众,切实提高问卷的针对性。 (五)强化评估结果运用,建立评估结果反馈与使用机制 完善评估结果信息公开、内部通报等制度,形成"公众评估——分析事业单位服务与公众需求的差距——事业单位减少差距——公众再评估"的循环回路,激励事业单位"精准"提升自身管理服务水平。加强对评估结果运用的研究,合理提高第三方评估结果占事业单位绩效考核指标的比重,并适当增大所占分数比重,要避免出现分值区分度低、拉不开差距的现象;真正实现考核结果与干部使用、评先树优、绩效工资、机构编制调整"四挂钩",充分发挥评估的激励约束作用。 (六)利用"互联网+评估"手段,创新推进评估工作开展 进一步创新工作方式,探索通过"互联网+评估"方式,将第三方评估工作移植到网络上完成,拓宽公众参与评估的渠道,降低人为因素对评估过程的干扰;将互联网评估结果与当前采取较多的电话问卷调查模式进行横向对比,真实了解评估的有关情况,达到评估对象覆盖更全、问卷填写更加便捷、个人信息更加保密、统计结果更加精确的目的。□E:FQJ 关键词:第三方评估 事业单位 精准监管