
新旧心理量表分数链接(Score linking)需要专门的资料和验证,不能只把两个总分做相关分析。准备让同一批人完成两套工具,还是保留共同题项,要由比较目标和实际条件决定。建立了换算关系,也不等于两种分数可以在每个用途上互相替代。
机构换了一套更合适的工具,想把旧档案接着用,需求很合理。真正需要回答的是:希望保留群体年度趋势,还是解释某个人的连续变化?或者,只想根据旧工具大致预测新工具的结果?这三个目标对误差和可比性的要求并不相同。
等值、链接和预测换算分别承诺了什么?
链接是建立分数关系的广义概念。等值(Equating)则有更强的含义,通常针对按相近内容规格编制、测量同一目标的测验形式,使分数可以互换使用。两份问卷都写着“心理状态”,还远远不够。
预测换算(Prediction)回答的是“已知旧分数,新分数大致会是多少”。它可以有实际用途,但预测仍有误差,反向预测也不一定得到同一条关系。不能把一条回归公式包装成无损转换。
美国教育考试服务中心的分数比较说明特别区分了这些用途:统计运算能够得出对应数字,并不自动证明可互换。内容、施测条件、目标人群和测量精度,都要进入判断。
选什么设计,要看能够收集什么资料
| 设计思路 | 资料怎样收集 | 要特别检查什么 |
|---|---|---|
| 共同被试设计 | 同一批人完成新旧两套工具 | 疲劳、顺序影响,以及两次作答之间状态是否发生变化 |
| 共同题项或锚测验设计 | 不同组分别完成不同工具,同时回答一部分共同内容 | 共同内容能否代表测量目标,在各组中含义和表现是否稳定 |
| 等组设计 | 将可比的人群分配到不同工具,比较相应分布 | 分组是否足以支持可比,不能把不同年份的来访者自然当作等组 |
这些设计提供的是连接依据,不是质量认证。共同被试设计能直接观察两种工具在同一人的表现,却增加作答负担;共同题项设计减轻部分负担,但需要可靠的“桥梁”。美国国家研究委员会的方法报告详细讨论了这些取舍。
所谓共同题项,也不能只核对文字一样。选项、题目所处位置、语言环境和施测方式变化,都可能影响回答。需要由熟悉工具内容和测量方法的人核对,不能为了凑出几道相同题目而直接宣布完成链接。
验收时,不只问“相关有多高”
相关较高,说明两套分数有共同变化的部分,却不代表每个人的换算误差都小。群体平均关系不错,某些分数区域或某类参与者的误差仍可能很大。
一份可用的交付应说明:连接研究用了哪些人、覆盖什么分数范围、误差怎样估计、在不同群体中是否稳定,以及是否用新的资料检查过。若只拿建模的同一批资料展示拟合效果,仍缺少向新项目推广的检验。ETS的等值实践报告将数据收集、准确性和解释视为共同要求。
“可用于群体”与“可用于个人”尤其不能混写。一个具体例子是,PROMIS全球健康计分手册中的某些领域分数估计明确只推荐用于群体平均,原因是个体估计区间很宽。这是该种换算的具体限制,并非所有链接都只能分析群体。手册第12页
连接证据还不够时,旧数据依然可以保留
旧工具的结果按原版本存档,新工具从切换日期开始记录,同时保留转换依据和适用范围。能够支持群体比较的,就在群体层面使用;尚不能支持个人连续解释的,不把两个数字连成一条“精准变化”曲线。
如果项目计划长期使用新工具,最好在更换之前安排过渡资料收集。先确定需要保留哪种解释,再选连接设计,比上线后急着找一条万能公式更有价值。
