公益项目有没有效果,能通过前后两次心理测评判断吗?

前后两次测评可以了解参与者的变化,但通常不能据此认定项目造成了改善。应提前确定目标、配对方式和分析计划,说明未完成后测的人数及结论的限制。

前后两次心理测评,可以帮助了解参加项目的人发生了什么变化;仅凭两次结果,通常还不能确定变化是项目造成的。生活处境改变、同期接受其他帮助,甚至参与后测的人与前测不同,都可能影响结论。

因此,准备做前后测时,值得把问题具体一点:希望哪方面有所改善,怎样测更合适,哪些变化还要通过生活中的情况来了解?这些安排在项目开始前确定,结项时会更容易讲清楚。

从一个具体的项目目标开始

假设一个公益项目计划帮助长期照护家人的成年人缓解压力、增加支持。可以由专业人员选择适用的工具,同时记录少量现实指标,例如能否安排休息、遇到困难时有没有人可联系。

这些指标应在项目开始时确定,不要结束后才从一堆数据里挑出变化最好看的几项。分数变化不大,但已经有人能替班照护,也是值得记录的情况。

前后测尽量使用同一版本的工具和一致的实施方式。测量时间要适合项目持续时间,也要符合工具要求。如果一场活动只持续半天,结束时立即填写询问“过去一个月”的量表,很难用它说明这半天带来了什么变化。

项目结束后是否需要再了解一次,应根据目标和参与者负担安排。有些变化需要时间才能看见,没有必要为了多画几张图频繁发问卷。

两次结果要能对应到同一个人

如果希望比较个人变化,就要提前确定对应方式,在告知和授权范围内保存必要信息。重名、资料变化或重复记录,需要核对。采用无法对应个人的匿名方式时,则应按该设计分析群体情况。

公益项目有没有效果,能通过前后两次心理测评判断吗:两次结果要能对应到同一个人

邀请参与者时,说明为什么测两次、大约何时进行、结果用于什么。每一轮标清用途,让大家分得清是新一轮测评,还是收到重复通知。是否参加测评,不影响其获得原有公益服务。

在量表使用许可和实施要求允许的前提下,纸质问卷或在线测评都可以用于组织前后测。人数较少、便于线下回收的项目,可以安排专人登记核对;参与者分散、需要集中查看完成情况时,可以考虑在线工具。公益机构也可申请橙星云的免费心理测评支持,减轻组织和整理的工作。[1]

无论用哪种方式,个人前后结果如何配对、变化怎样分析,都要按项目方案完成。系统显示的完成情况,只能说明测评进度,不能直接回答项目有没有效果。

没有回来做后测的人,也影响结论

以下数字仅用于解释方法:假设100人完成前测,其中60人完成后测。即便这60人的结果整体有所改善,也不能据此判断原来的100人都获得了同样帮助。

公益项目有没有效果,能通过前后两次心理测评判断吗:没有回来做后测的人,也影响结论

工作人员可以按约定方式联系未完成后测的人,记录已知原因。对方不愿继续,应尊重其选择,不追着反复催填,更不能找别人代答。结项时,列清前测人数、后测人数、能够配对的人数,以及仍然未知的情况。

分析时保留没有改善和情况变差的结果。只看坚持到最后、最愿意配合的人,可能会高估项目带来的帮助。

汇报时,说清楚看见了什么

中国社会科学院大学发布的评估方法研究指出,简单前后比较难以排除其他因素影响,设置比较组也需要满足相应条件。[2]如果机构需要回答更严格的效果归因问题,可以在项目开始前请专业评估人员参与设计。

公益项目有没有效果,能通过前后两次心理测评判断吗:汇报时,说清楚看见了什么

常规结项汇报可以说明:完成两轮测评的人哪些方面发生了变化,现实生活中的困难有什么改变,还有哪些人未能继续了解。分数差异是否有实际意义,应参考具体工具,避免一见下降就称为“显著改善”。

例如,前述照护项目发现参与者更容易找到替班帮助,但仍普遍缺少连续休息时间,下一期就有了明确的调整方向。前后测能为这样的决定提供依据,也能让资助方看到项目已经做到哪里、还需要做什么。

资料参考

[1] 橙星云官网:公益支持计划、团体测评与测评任务。https://psy.fenxapp.com/

[2] 贠杰:《公共政策评估的制度基础与基本范式》,中国社会科学院大学政府管理学院,2023。参见前后比较与比较组方法的限制。https://sg.ucass.edu.cn/info/1150/3942.htm

Leave a Reply

Your email address will not be published. Required fields are marked *