心理测评软件一页一题与整页问卷,答案和退出率能直接比较吗

同一份在线问卷换了分页方式,也可能改变回看、拒答和进度体验。比较缺答、退出与分数时,应保留具体界面条件,分别判断完成行为和结果可比性。

同一份在线问卷,原来往下滑就能看完,后来改成答一题再进入下一题。机构发现完整答卷多了,很容易顺势认为:新页面更好,以前和现在的结果可以接着用。

心理测评软件的分页调整,确实可能改善完成体验。要比较新旧结果,还得知道页面究竟改变了哪些作答条件。退出少了、漏答少了,以及分数仍表达相同含义,需要各自有证据。

每页题数相同,作答条件也可能不同

整页问卷让人同时看到前后题目,可以回看刚才的答案,也可能边读后面的题边调整前面的选择。一页一题减少了当前屏幕上的信息,却可能让人难以回看。具体影响取决于题目之间有没有共同材料、是否需要对照,以及页面是否允许返回修改。

选项怎样出现也会改变体验。五个选项全部展开,与点开下拉菜单后才看见五个选项,给人的阅读与操作条件不同。答完后自动前进,和需要按一次“下一题”,也会带来不同节奏。若还同时增加强制答题、调整进度提示,就已经改动了多项条件。

2012年一篇发表于PLOS ONE的论文很能说明这个问题。研究者用随机网络实验比较逐题与整页呈现,发现逐题条件减少了缺答,且没有检出更多退出。但整页条件使用下拉选项,逐题条件展示全部选项,还要求参与者确认选择或明确拒答,并显示题号进度。研究比较的是这两套实际实现,无法把全部变化单独归功于“每页一题”。

因此,讨论某个分页研究能否帮助自己的项目时,值得看它究竟怎样做。只读到“逐题呈现效果更好”,会漏掉决定能否借鉴的条件。

少漏答和少退出,回答的是两个问题

缺答可以发生在已经提交的问卷里,退出则可能发生在提交之前。页面让参与者更容易发现没答的题,可能减少缺答;若不允许跳过,又可能让一部分不愿回答的人选择离开。强制填满得到的完整问卷,也不能据此认定每个答案都更真实。

比较时,至少要把这些情况分清:开始后没有提交、提交后存在空项、明确选择拒答。退出率的分母也要一致。以打开入口的人为分母,和以已经开始正式答题的人为分母,算出来的数字不能直接对照。

完成时间同样需要结合任务看。上述论文的第一项实验中,17题整页条件的平均完成时间约149秒,逐题条件约154秒;较长的第二项任务却出现有利于逐题条件的时间表现。这些结果来自英语网络志愿者,不能直接当成中国学生使用手机做心理量表的预期效果,但足以提醒我们:题目长度与实际实现会影响比较,分页没有统一的速度优势。

怎样判断新旧分数能否一起解释

如果目的是找到参与者在哪一页离开,可以主要分析开始、退出和提交情况。如果希望把两种界面的分数放进同一份统计报告,或用它们说明前后变化,就需要进一步检查测量结果。

2025版ITC与ATP《技术化测评指南》提出,不同技术条件下的分数可比性应围绕预定用途研究。除了分数分布,还可能涉及信度、测量标准误、测量内容及与外部变量的关系。两组均分相近,或都得到较高的内部一致性,不能单独证明分数可以互换。

实际对照中,可以尽量保持题干、题序、选项含义、计分和使用人群一致,逐项记下仍存在的区别。条件允许时,将同一目标人群随机分配到两个实际界面,有助于减少人群差异的干扰。若比较的是改版前后的两届学生,还要保留不同年级构成、施测时间与组织方式等资料,不能把所有变化都归到分页上。

记录也应细到可以重现当时的页面:选项是否展开,是否有默认选择,能否跳过与返回,如何提示进度,使用什么设备。这些信息能够帮助解释完整率变化,也能让后续人员判断分数比较有没有遗漏施测条件。

证据尚不足时,保留界面版本并分别呈现结果,仍然可以开展项目管理。需要把它们合并解释时,再说明已经验证的用途和范围,避免一张没有版本区分的趋势图,把界面调整画成了人群变化。

参考资料

2012:逐题与整页呈现的随机网络实验。

ITC与ATP,2025:技术化测评指南,第7节分数可比性。

Leave a Reply

Your email address will not be published. Required fields are marked *