买心理测评软件前,怎样读懂供应商的效果案例

案例里的分数下降、显著改善和满意度,分别能证明什么?采购方需要看清比较对象、结果指标,以及软件在整套服务中的实际作用。

供应商展示“使用后心理状态改善”的案例时,采购方值得继续追问:案例中的人接受了什么,比较的是什么,这些证据能支持本次购买的哪项收益?把这三个问题问具体,比只看一张前后变化图更有用。

一句“有效”,可能在说三种不同的事

软件减少人工汇总、让报告更快交付,是工作流程的变化。参与者觉得方便、愿意继续用,是使用体验。症状或生活功能改善,则是健康相关结果。这几类收益可以同时存在,但一种证据不能替另一种作证明。

若买的是发放量表、生成报告和管理记录的系统,可以要求它证明相应流程的价值。上线后的工作效率评估已有具体记录方法。若案例进一步声称改善心理健康,就应提供与该声称相匹配的研究材料,而非用报告数量或满意度代替。

尤其要读清案例里的服务内容:是否同时提供了专业咨询、课程、练习、随访或组织支持?如果这些和软件一起投入,研究评价的可能是整套服务。不能把整套服务的结果直接归给量表发放软件,更不能据此承诺购买软件就能获得同样改善。

“一组显著,另一组不显著”不是组间差异的结论

一个常见展示方式是:使用组前后变化达到统计显著,对照组没有达到,于是宣布使用组效果更好。这个推断不成立。两次检验一个显著、一个不显著,不等于两组的变化之间存在统计显著差异;应查看针对组间差异的适当分析,而不是比较两枚显著性标记。Bland与Altman的研究方法论文专门说明了这一问题。

采购方不必代替统计人员重新计算,但可以索要完整报告,问清主要结果、组间效果估计及其不确定性。只有一张宣传图时,可先记为“暂不足以支持该效果声称”,而不是反过来断言产品毫无价值。

有对照组也并非自动解决一切。还要知道分组如何形成,两组起点、同期接受的服务和观察时间是否可比较。随机分配有助于减少混杂影响,但研究执行与分析仍需要专业评估。这里的任务是审阅已有证据,不是让机构为了采购自行开展临床试验。

图1  组内显著性标记不同不等于组间变化不同,应查看适当的组间分析。
图1 组内显著性标记不同不等于组间变化不同,应查看适当的组间分析。

指标必须对应案例声称的改变

声称焦虑改善,就要看实际采用的指标是否适合回答焦虑问题。PHQ-9主要用于评估抑郁症状严重程度,不能仅凭PHQ-9分数下降,就把结论改写成焦虑得到改善。PHQ-9原始验证研究说明了它的测量主题。

还要核对效果针对什么人、什么版本、持续多久。一个特定人群在固定服务安排中的结果,未必能直接迁移到本机构。可以请供应商说明本次交付与案例中的产品及服务有哪些相同和不同;差异较大时,先判断案例能提供哪一部分参考。

让证据对应购买理由

评审结论可以写得很具体:“现有材料支持减少汇总工作,但尚不足以支持心理症状改善的声称;本次按流程工具评估,并另行核定后续服务资源。”这种表述既保留了已证实的价值,也避免把尚未证实的健康效果写进采购收益。

若健康改善正是采购的主要目的,就应请具备相关研究和临床能力的人员审阅完整证据。测评、干预及后续专业支持各承担什么工作,应在作出承诺之前说明白。

Leave a Reply

Your email address will not be published. Required fields are marked *