
假设一次团体测评只有二十分钟,机构原来的方案却安排了好几份问卷。采购演示里出现“智能选题”“动态跳题”“更少题目完成测评”,确实容易让人心动。不过,买软件前先要弄清:省下来的题目原本承担什么作用,少问以后还能交付哪些结果。
缩短测评可以有不同办法。使用适合本次目的的固定短版、按预设条件分流,以及采用真正的计算机自适应测验,所需的工具依据和实施条件并不相同。先选清路线,比先找一个带“智能”字样的系统更有帮助。
先从本次要回答的问题里减负
回到这个假设项目。负责人可以逐份问卷问一句:“测完以后,谁会使用这份结果,做什么?”如果某个维度只是往年一直在测,本次却没有明确用途,应该先由专业负责人重新评估是否保留。软件把每份问卷加速一点,未必比减少一份不必要的问卷更合适。
确实需要测量的内容,再看有没有适用的成熟短版。短版应有自己的名称、版本、计分与解释依据;不能从长版随意挑出几题,继续使用原来的分数范围和分界。也不宜只根据“十分钟完成”判断工具好坏,阅读要求、手机操作和现场安排同样影响实际用时。
若机构必须与既往结果比较,还需要确认改用短版或另一种施测方式后,哪些分数有可比依据。旧报告和新报告能够放在同一个页面,并没有替机构解决这一问题。
固定短版、条件跳题和CAT,各自解决什么
固定短版让使用者回答一组事先确定的题目。它适合需要同样题目、实施方式较简单的项目,纸笔也可以是合理选择。以PROMIS这一测量体系为例,官方CAT与短版比较说明明确区分了固定题目与针对个人选择题目的方式,也列出了需要纸笔或要求所有人回答同样题目时采用短版的理由。这个例子说明短版有自己的使用条件,不是技术落后的替代品。
条件跳题通常执行预先设置的规则。例如,某一回答决定是否进入后面的相关模块。它可以减少不适用的问题,但“页面会跳转”本身不能证明测量更精准,也不自动使问卷变成CAT。分流所依据的规则、被跳过部分如何记录、最终允许输出哪些结果,都需要事先讲清。
真正的计算机自适应测验,需要有支持这一用途的测量模型、经过校准的题库,以及明确的选题和停止规则。HealthMeasures的计分说明介绍了其项目反应理论与校准资料基础。系统根据已有回答更新估计,再选择下一题;它不是看到参与者喜欢哪个话题,就随意换一个测量目标。按兴趣聊天、随机抽题、看到低分就少问几题,不能仅凭这些表现称为CAT。
官方HealthMeasures的CAT说明展示了同一体系中不同类型的自适应测验。购买时应落实到具体工具,而不是把某一个体系的题量、精度或实施效果当作所有“自适应软件”的保证。

让供应商解释两个人为什么答了不同的题
演示不必先追求复杂界面。机构可以请供应商用不含个人资料的示例,展示两条不同作答路径,再说明以下问题:
- 两条路径使用的工具全名、版本、语言和适用对象是什么
- 它们测量的是哪个领域,题目来自什么题库,相关技术依据在哪里
- 下一题按什么规则选择,什么条件下结束,达到题数上限却仍不够精确时如何处理
- 最后输出什么分数,怎样表示测量的不确定性,两条不同路径的分数为何可以比较
- 这项能力属于当前交付版本,还是另购工具、接口或后续开发范围
这些是采购方要求说明的问题,不表示任何供应商都已具备相应功能。也不要求公开受保护的完整题库或算法源码;可核对的技术说明、适用证据和有权限提供的样例,应足以让专业人员判断方案是否适合本次任务。
停止规则尤其值得追问。HealthMeasures的不同CAT规则说明列出了题数、测量标准误等不同停止条件,不同对象与版本也有差异。因此,“所有人最多五题”“每个人问得越少越好”不宜直接成为采购目标。要先确认短到什么程度仍能满足本次测量用途。
把选择写回实际施测安排
如果项目已经有合适的固定短版,机构可能只需要能准确呈现、计分和管理它的工具,不必因为一次演示就更换整套系统。如果需求主要是让不同对象进入不同模块,应重点核对分流规则、遗漏情况和结果范围。如果确实需要CAT,才进一步确认具体测量体系、实施技术、使用条件和费用。
仍以二十分钟的假设项目为例,最后的需求说明可以写成:“本期只保留与后续服务有关的两个测量目标。优先评估适用的固定短版;若供应商提出自适应方案,请提供具体工具与题库依据、适用对象、选题和停止规则、输出样例,以及所需的额外技术和服务。未能核实的能力不计入本期交付。”
这个写法留下了选择空间,也方便比较不同方案的实际工作量。专业人员负责确认工具能回答什么,实施人员确认现场如何完成,采购人员再核对交付与费用。
橙星云现有团体测评与测评任务,可用于组织相应的单量表或多量表测评,并查看参与和完成情况。这类组织能力可以服务于已经确定的测评方案;是否支持某一种CAT题库和运行方式,仍需针对具体产品版本另行确认,不能从“支持多量表”推导出来。
最终要买到的是一套在既定时间内能够认真完成、结果又能用于后续工作的方案。题目少一些可以是收益,但少问了什么、依据是否仍然成立,应当在采购时就说清楚。
