
把纸笔量表原样录入手机,题目和计分公式可能完全一致,作答条件却已经改变。屏幕一次能显示多少内容、是否需要滚动、怎样返回修改、来电后能否恢复,都会影响读题和作答过程。机构准备把新旧结果放在同一条趋势线上时,需要先证明这些变化没有改变分数含义。
先说明要比较到哪一步
可以在手机上填写、两种方式测量同一构念、分数可以互换,代表三种不同结论。只想增加填写入口,重点是功能、可达性和计分正确。准备用新旧分数观察个人变化,或把两种方式混入同一统计,所需证据更强,还要考虑测量精度与施测方式带来的差异。
项目负责人应先写清量表服务的人群、使用场景和分数将支持什么决定。通用的信度、效度与常模审查另行完成,本次迁移只回答手机呈现是否增加了新的误差。
把每一项迁移差异列出来
核对不能停在题目文字。分页方式、题目顺序、选项控件、必答规则、跳题、计时、提醒、字体、滚动、横竖屏、返回修改和中断恢复都要记录。手机型号、操作系统和浏览器也属于施测条件,因为同一页面在不同屏幕上可能产生不同阅读负担。
这份差异表需要固定版本。试测中修改了说明文字、分页或交互,旧结果和新结果应分开标记,再从新版本重新积累证据。橙星云可以承载数字施测,机构仍应自行保留量表版本、目标设备和试测结论,系统界面不能代替等值性验证。
在目标设备和目标人群中试测
先用计划支持的真实设备检查显示、触控、加载、断点恢复、漏答处理和辅助功能,再让具有目标人群关键特征的参与者完成试测。只在开发人员的手机上运行成功,无法说明正式参与者也能顺利理解和操作。
需要比较两种施测方式时,可以让同一批参与者分别完成纸笔版和手机版,也可以组织条件相近的两组。前一种设计要处理顺序、记忆和间隔影响,后一种设计要说明两组是否可比。具体样本量和通过标准应依据量表用途、差异大小和分析方案确定,不能套用一个跨工具数字。
同时看总分、题目和作答过程
平均分接近或相关较高,只提供部分信息。机构还应比较分数分布、可靠性和测量标准误,并查看完成时间、漏答、退出和异常作答是否集中在某类设备。高风险用途或明显设备差异下,可进一步检查测量不变性和题目差异功能,判断同一道题是否因设备或人群产生额外偏差。
最终结论应写成有条件的范围,例如在已测试的人群、设备和版本中,可用于同一类团体统计,或只支持手机版内部比较,暂不与历史纸笔分数混用。样本、方法、设备、版本和限制要和结论一起保存。后续界面改动或增加设备类型时,再把这一项纳入机构的工具评审,避免把技术变化误读为人的变化。
