心理测评预测效度验证：加入新信息后，比原有资料多了什么

原来的心理测评已经有问卷和基本资料，现在又加入一段自由表达、语音特征或生理信号。供应商说预测能力提高了，机构最需要知道的，是这些新信息能否改变原来做不好的判断，以及改变之后是否值得多收集一份数据。

心理测评预测效度关注分数对现实结果的预测依据；“增量效度”进一步追问：在已经掌握的资料之外，它还增加了多少信息。一个新指标与结果有关，甚至统计上很显著，仍不能直接回答后一个问题。

先把“预测什么”写成可以核对的一句话

“预测心理风险”太宽，难以验证。需要说明对象是谁、预测多长时间以后的什么结果、由谁按什么标准记录。识别今天的状态，与预测未来会发生的事情，也应分别验证。

举一个仅用于说明方法的假设：某学校希望预测在校学生未来八周内是否出现预先定义的持续缺课。缺课记录可以独立核对，但缺课可能有多种原因，不能据此确认心理疾病。目标选得再容易统计，也要先问它是否对应学校真正想解决的问题。

用于预测的信息应在结果发生前取得。如果先看到缺课情况，再挑出最能解释它的特征，这份分析还没有证明对下一批学生的预测能力。若所谓“真实风险”本身就由待验证的测评报告判定，输入与答案还可能绕成一个圈。

TRIPOD+AI报告指南要求说明结果、时间窗、测量方式，以及预测变量的取得时点等信息。它针对临床预测模型；这里借用这些核查问题，并不代表心理测评系统遵循指南后就获得了效果认证。

仍以上述假设为例，学校原本可能已经有既往缺课记录和常规问卷。应先建立只使用这些可用资料的基线方案，再建立加入新信息的方案。两套方案预测同一个结果，使用相同的评价对象和时间窗，才看得出增加数据带来的差别。

如果新方案同时更换算法、补充既往记录、加入文本，最后只能说明这一整套改变的效果。要专门证明文本的增量，应尽量让其他条件可比；也可以另做逐项比较，说明改进究竟来自哪里。

把基线设成“什么资料都不用”，新方案很容易胜出，却无法回答实际采购问题。机构原本已经拥有的信息，应当进入公平比较。关于新增指标的增量价值方法研究特别提醒，过弱的基线可能夸大新指标的价值。

需要回答的问题	它会改变什么判断
能否更好地区分后来出现结果与未出现结果的人？	AUC等区分指标有助于看排序能力；单报总准确率，可能掩盖对少数结果的识别情况。
估计的风险与实际发生频率是否相符？	这是校准。如果风险估计普遍偏高，排序有所改善也可能带来过多提醒。
按预定用途使用时，新增判断带来什么后果？	需要同时看多发现了什么、多打扰了谁、遗漏是否减少，以及人手能否承接。

这三件事不能互相代替。一个变量的低P值只说明统计关联的证据，不说明改进是否足以改变决策。AUC提高也没有通用的“值得买”幅度；同样的改进，用于低负担的自愿提醒，和用于影响学生权益的决定，所需论证不同。

还应要求报告差值的不确定性。样本较少、结果很少发生或某一类学生人数不足时，看起来更好的数字可能很不稳定。总体平均表现，也不能自动补齐某个重要群体的证据缺口。

两套方案应放到未参与训练、调参和方案选择的数据上评价。随机留出一部分既有数据，能提供内部验证；来自后续时间、新学校或新人群的数据，则进一步检验模型能否离开原来的环境。它们提供的证据强度和适用范围不同。

前瞻验证还要把预测规则先定下来，再等待结果发生，避免看过答案后反复挑出最好的一版。报告应说清当前产品版本与验证版本是否一致，不能把旧模型的结果长期用于不断变化的新系统。

即使预测改善可靠，实际采用仍有一道独立问题：多一次采集要花多少时间，增加哪些隐私负担，误报后的复核由谁做，最终是否改善了服务。仅有准确性研究，尚不足以证明使用系统会改善健康或管理结果。

采购橙星云或其他测评平台时，可以要求演示材料保留一组并排结果：只用原有资料怎样，增加新信息后怎样，增加了哪些采集和处置成本。这是一项采购核查建议，具体产品能否提供这些证据，需要逐项确认。

如果供应商只能证明“新增变量有关”，应把采用判断停在这个证据层级；如果能够说明相对原有方案的稳定改进，再结合错误后果与成本，才有依据决定增加哪些信息、用于哪一种具体决策。