高考主观题的评分启示 2019年高考刚结束,笔者偶然从广播中了解到高考主观题的评分方法,感觉整个过程与企业绩效管理有异曲同工之处。 第一步:首先通过高速扫描仪对试题进行扫描,再通过评卷系统提取全部主观题并编码。 第二步:每一道主观题都由两位老师进行评价,评分结束后,评卷系统自动将两位老师的评分结果进行对比,如果其评分分差没有超出设定的误差值,则取两个评分的平均分作为该题得分。例如:题目1的误差值为1分,A老师的评分为9分,B老师的评分为10分,由于误差值为1分,没有超过标准误差值,那么这道题目的得分就是9.5分。 第三步;如果超出了设定的误差值,例如:A老师对题目1的评分为7分,B老师的评分为10分,误差值为3分,评卷系统会自动把该试题发给第三位教师评阅,最后取差值较小且在误差值内的两个评分的平均分作为该题得分。如果三位教师的评分两两比较的分差均大于设定的误差值,则交由学科评卷组仲裁。 最后,评卷组通过对试题的提取与编码,双评、复评、评卷组仲裁等方式,降低了主观因素对评价结果的影响,极大地提高了评分公平性和评价结果的信度。 在企业管理中,我们经常会遇到上级对各类方案或报告的质量评价、对某件事情的满意度评价等,由于这类指标很难形成统一的认知和评价标准,在评价时就很容易出现不同评价人结果差异较大的现象。笔者认为,企业绩效管理也可以从高考主观题评分规则中找到一些定性指标的评价启示。定性指标评价案例 "报告有效性"是我们在考核中经常遇见的指标,目前最常见的是考核报告提交的时间以及报告内容的出错次数。这些考核维度可以应用于一些常规、简单的报告,但是对于一些重要的报告来说,时间和内容的准确率只是最基本的要求,更值得关注的是报告的质量。但是,判断一份方案或报告的质量的标准是什么呢?不同的人有不同的理解。 例如:某公司要求营销一部和营销二部在第三季度进行一次关于产品市场竞争力的市场调研报告,并在9月25日前提交报告,该项报告纳入季度考核,权重为30分,两位营销部负责人分别提交了自己的指标描述。 ●营销一部的指标描述 指标名称:市场调研报告的综合评价 评分描述: (1)时间(10分):在9月25日前完成市场调研报告,延迟一天扣1分; (2)准确率(10分):报告中每出现一次错误,扣2分; (3)质量(10分):根据领导对报告质量的评价进行评分,满意7-10分,一般4-6分,不满意0-3分。 在评分描述中,营销一部没有对如何判断报告质量的好坏进行清晰界定,领导对报告质量的评价是满意还是一般,全在一念之间,很容易受到近因效应和晕轮效应的影响,评价结果难以保证客观性。 ●营销二部的指标描述 营销二部的评分描述将报告的质量指标归为竞品数量和决策支持两个维度,不仅向营销部传达了具体的工作要求(竞品分析),评价者还可以通过报告中对竞品分析的数量和被引入决策支持的观点数量来判断报告的质量,大大降低了评价结果受人为因素影响的概率。 定性指標量化步骤 营销二部的评分描述设置看似复杂,实际上有其相对固定的步骤,笔者将其归纳成三步: 第一步:确定评价的维度 一般来说,不同的指标有着不同的评价维度,需要我们结合业务特性和工作需求选择。如表1所示,市场调研报告可以选择及时性、准确性、决策支持三个维度,营销会议支持可以选择计划性、实施情况、有效性三个维度,采购价格的合理性可以选择样本数量、分析维度、工作记录三个维度…… 在日常工作中,我们可以对各部门/岗位的定性指标所选择的评价维度进行整理,这也有利于加深我们对各部门主营业务的了解。 第二步:为各评价维度赋予一定的权重 权重设置的方法有很多,笔者推荐一个最常用的方法——权值因子判断法。权值因子判断法是将行指标与列指标两两比较,其中非常重要的指标为4分,比较重要的指标为3分,同等重要的指标为2分,不太重要的为1分,很不重要的为0分。比较结束之后,对所填写的权值因子进行统计,并将统计结果折算为权重。 如表2所示,将A列的三个维度与第2行的三个维度两两对比,因为相同维度不进行比较,因此我们在表中用"-"表示。 "及时性(A3)"与 "竞品分析(C2)"相比,"竞品分析"比较重要,得3分(将得分填写在B4,第4行为"竞品分析"维度的得分),"及时性"不太重要,得1分(将得分填写在C3,第3行为"及时性"维度的得分)。 "及时性(A3)"与 "决策支持(D2)"相比,两者同等重要,"决策支持"维度得2分(将得分填写在B5,第5行为"决策支持"维度的得分),"及时性"维度得2分(将得分填写在D3)。