创造力测评怎样分清点子多与点子有新意

开放式创造力任务中，答案多主要说明流畅性，不能直接证明每个想法都更独创。尤其当独创性得分由所有回答的分数相加而来，作答数量也会推高总分。要区分数量与质量，需要同时说明回答怎样评分、分数怎样汇总。

先决定在数什么

在替代用途任务（Alternate Uses Task，AUT）中，参与者需要为常见物品提出不同用途。流畅性关注有效想法的数量；变通性关注跨越了多少种类别；独创性则需要按既定方法评估回答的新颖或独特程度。

例如，为纸杯写出“装铅笔”和“放圆珠笔”，未必算两个不同想法，也未必算两个类别；“做投影小剧场”可能跨入另一类，但是否新颖、是否说明了做法，还需按任务规则判断。这些是教学例子，没有正式常模分数。重复、无关或含义不清的答案如何处理，应在评分前确定，不能看到是谁写的再改变标准。

评分研究强调，指导语、答案有效性、评分维度和汇总办法，都属于必须交代的方法条件。让参与者尽量多写，最后却只奖励少数精细想法，容易造成任务要求与评价不一致。评分方法综述

同一组回答，三种汇总会讲出不同的故事

下面纯粹是演示计算的自拟数字，不是真实受测者数据，也不是 TTCT 或其他正式测验的评分表。假设已经用同一套规则给每条有效回答作了 1 至 5 分的质量评分，分数越高表示评定质量越高。

累计分里，八条回答更高；看平均分，则是三条回答更高。前者把每条回答的贡献累加，包含了数量信息；后者关注这组回答的平均质量。不能把两种分数都不加说明地叫作“独创性水平”。

还有精选回答的办法。Silvia 等人在 2008 年研究的 Top 2 方法，让参与者选出自己认为最有创造性的两个答案，再由评定者评分。若上例第一组恰好选了两条 3 分回答，第二组选了 4 分与 5 分回答，两组的精选平均分就是 3 和 4.5。原始研究

精选法减少了直接累加数量的影响，但同时包含参与者识别自己好点子的能力；它不是由系统自动挑出最高分的同义说法。平均法也有代价：多写一些普通想法可能拉低平均值。不同方法回答不同问题，没有一种能脱离用途被认定为永远最好。后续研究还专门检验了精选答案数量和作答时间对评分的影响。精选评分研究

数量本身仍有价值，多生成想法能扩大备选范围。需要避免的，只是把“产出更多”和“单个点子更好”写成同一个结论。

少见、新颖和有用还要分别核对

按出现频率评分时，“少见”取决于参照样本。同一个回答，在一个班里少见，在更大或经验不同的群体里可能很常见。按评定者判断评分时，则要说明判断的是新颖性、巧妙程度，还是兼顾用途的整体创造性。

“把纸杯变成瞬间移动装置”可能非常少见，却没有解释怎样满足任务。反过来，一个不算罕见的收纳办法，经过巧妙改造，也可能有实际价值。罕见程度、评定者判断与现实可用性不能直接互换，更不能由一道任务推出“有天赋”或“没有创造力”。

如果学校或机构自行设计教学活动，可以准备一份评分材料包：明确有效答案规则，给出不同等级的示例与理由，隐藏姓名并打乱答案顺序，让评分者先独立评分，再检查分歧来自哪里。正式使用时还需报告适合该设计的评分者一致性指标；不能只写“老师讨论后都同意”，就宣称评分可靠。采用成熟测验时，应遵循对应手册，不能用本文演示替换原规则。

自动评分能补充什么

SemDis 等研究用语义距离估计回答与常见概念的远近，并检验它与人工评分的关系。这类方法能协助处理大量文字回答，但语义距离更直接反映新颖性线索，不能独立保证回答合用、巧妙或可实现。SemDis 原始研究

使用自动评分时，应保存模型、语言、文本处理和汇总规则，并在目标任务中抽样与人工评分对照。换成中文、不同年龄或新的任务，不能只因为系统返回了小数，就假定效度已经得到验证。若更换模型，还应检查前后分数是否仍能比较。

最后，报告可以直接写成：“本次有效回答较多，但平均质量与精选回答表现需要分别阅读。”这样的说明，比一个没有评分来历的“创造力总分”更能让读者知道自己究竟做得怎样。