心理测评软件试用通过,能证明量表有效吗?

试用验证软件实现与实际操作,量表用途还需要对应的专业证据。

试用时能顺利发放问卷、生成报告,是采购判断的重要信息。但一次演示成功,不能同时证明计分实现正确、使用流程合适,以及量表足以支持某种解释。这三类问题需要不同的材料。

演示结果先回答它真正检验过的问题

如果试用只完成了登录、答题和查看报告,能记录的是这些步骤在当前设备、账号与版本下能够完成。若还要判断计分是否正确,需要依据明确规则核对输入与输出;具体方法可参考用测试答卷验算心理测评系统。

软件把规则执行对了,也不代表这些规则适合所有对象。量表测量什么、适用于谁、分数怎样解释,仍要有对应版本的研究和使用说明支持。国际测验委员会的测验使用指南将选择适合目的的工具、理解技术依据和谨慎解释结果列入专业使用要求。

例如,报告能完整展示职业兴趣,并不能据此证明它适合判断某人的临床心理状态。这不是增加几个功能就能补足的证据问题。

图1  操作、计分实现与测量解释需要分别核对证据。
图1 操作、计分实现与测量解释需要分别核对证据。

两套结果相近,先问它们是否在测同一件事

用另一款工具作参照之前,应说清比较理由。不同构念、不同版本、不同时间的结果,本来就可能不同。不能因为两张报告的描述大致一致,就宣布新系统的量表“科学有效”;也不能因为结果不一致,就直接认定其中一套系统算错。

采购复盘可以按差异来源分别处理:输入不一致,先确认数据;同规则输出不同,查实现;题目版本或解释依据不同,交专业人员判断;测量主题不同,就重新考虑比较是否有意义。

即使参照工具与目标构念相关,一小批试用者的结果也只能提供有限观察。若要提出更强的有效性声称,需要适当研究设计、样本和分析,不能把方便取得的试用数据当作完整验证。

供应商要说明的是证据与本次用途的关系

可以请供应商标明量表的准确名称和版本、拟用对象、支持的解释,以及技术资料的出处。机构专业负责人再判断资料是否真正对应本次项目,而不只看是否出现“常模”“信效度”几个词。

若对方称做过本地化或行业化调整,还要说明调整了哪些内容、哪些解释仍有依据。机构无需在采购阶段自行做一套新的验证研究,但应知道哪些结论已经有材料支持、哪些还需要补充。

对数字化施测的具体变化,也应参考相应的专业要求。ITC数字化测评指导资料可作为进一步阅读入口。工具有专业出处,仍不意味着任何屏幕呈现或实施方式都可直接沿用所有结论。

试用结论最好写清范围:哪些操作已实际完成,哪些实现已验证,哪些测量解释经过专业审阅,尚缺什么资料。这样形成的“通过”,才知道通过的是哪一关,也方便把未完成事项交给合适的人。

Leave a Reply

Your email address will not be published. Required fields are marked *