AI给一段开放回答打出分数，再写出一段顺畅的理由，很容易让人觉得评分已经说得清楚。真正需要核对的却是：同一条规则交给不同评分者能否执行，模型有没有使用规则允许的信息，以及那些人机意见不合的回答究竟出了什么问题。
AI心理测评里的开放题评分，首先是一项测量工作。开放回答可以提供心理信息，但分数要代表什么、能用于什么判断，需要另有证据。2022年一项主观幸福感研究利用美国线上成人的开放回答预测生活和谐、生活满意度自评分数，作者同时提醒，自评量表也没有客观真值的地位。这类研究不能直接证明模型能为中文临床问题分级。
先把“答得好”拆成可以执行的规则
构念指测评希望测到的心理特征或能力。开放文本包含许多信息，评分规则要说明哪些信息与目标构念有关，哪些信息不能拿来加减分。若评分目标含混，人工和模型即使经常同分，也可能共同偏向篇幅、语气或文字流畅程度。
以一道自拟、仅供说明评分方法的任务为例：“请描述一次日常计划受阻后，你怎样重新安排。”假设这项任务只评价回答有没有呈现具体调整行动及选择依据，可以先写出这样的等级锚点，也就是各等级可识别的回答特征：
- 未交代具体调整行动，只有感受或笼统表态。
- 交代了调整行动，但没有说明它与当时限制之间的关系。
- 交代了调整行动，并说明为什么在那个条件下选择它。
这些演示锚点不构成心理量表，不能据此判断一个人的应对能力。实际测评仍须论证任务和等级是否覆盖目标构念。这个例子要说明的是：短答案只要提供了所需证据，也可能满足较高等级；长答案如果没有相关信息，就不应仅凭写得多获得高分。评分者也不能从文中未出现的信息推断家庭支持或疾病状况。
规则还要有不同等级的示例、容易混淆的边界回答，以及信息不足时怎样处理的约定。《教育与心理测验标准》4.18至4.20要求开放回答评分有清晰规则和等级特征，并为自动评分与目标构念的联系提供实证支持。
人工参照也要经得起检查
让一位专家看完模型结果后表示认可，难以建立独立参照。较稳妥的做法是：合适的评分者先按同一规则训练，再各自独立评分，保留初始分数和判断依据，然后处理分歧。先看模型分数再打分，会让人工判断受到模型影响。
分歧可能暴露三类问题：规则写得不清、某份回答确实模糊，或者评分者遗漏了证据。应分别记录，不能把讨论后的统一分数当成“人工起初完全一致”。人工参考的形成方式、裁决理由和仍无法确定的回答，都关系到后面的人机比较能说明什么。
还要区分评分者一致性与任务之间的稳定性。两个人给同一回答的分数接近，只能说明这次评分较一致；同一受测者换一道任务后能否得到稳定解释，需要另一类证据。人工意见有价值，也有它自身的误差。
人机差异要回到哪类回答被评错
总体相关系数反映两组分数共同升降的程度。即使模型对多数回答都比人工高一个等级，相关也可能很高。完全同分比例回答“多少次打得一样”，相邻等级一致把差一档也纳入，带权重的一致性指标则对不同程度的分歧作区别处理。它们各有含义，不能互相替代，也没有一个通用于心理开放题的合格数值。
对照数据时，至少应看清模型是否整体偏高或偏低、哪些等级之间最常混淆、有没有把两端分数推向中间。如果差一个等级就改变了反馈或后续安排，把“相邻一致”算作可接受便需要额外理由。
接着抽出具体分歧回答，核对模型有没有漏掉关键证据，或把无关信息当成了评分依据。2026年的一项开放回答评分预印本在美国中学生论证作文中发现，人机高一致可能部分来自共同依赖篇幅，模型还可能漏掉构念中的重要成分。这提示了需要检查的方向，不能据此认定所有心理评分模型都偏爱长答案。
因此，相关群体和表达方式也应进入分析：简短回答、口语表达、不同语言背景下，误差是否出现稳定模式？群体平均分不同本身无法证明偏差，需要进一步看差异是否来自目标构念之外的因素。模型生成的理由可以帮助定位疑点，却不能单凭理由流畅就认定它忠实反映了评分过程；要把理由中的依据与原回答和规则逐项对上。
合成材料可以查漏洞，真实样本决定适用范围
人工编写的成对文本适合做可控检查。例如保持相关信息不变，只增加客套话；或者保留字数，删掉选择行动的依据。观察分数是否随无关修饰变化、是否对关键证据的缺失作出反应，有助于发现规则执行问题。这是方法测试建议，不代表已经验证了实际人群中的效果。
真实适用性仍要用合法取得、符合目标人群和使用场景的独立样本检验。合成材料通常比真实回答整齐，覆盖不了真实人群中所有含混、矛盾和表达差异；它的一致率不能冒充正式使用时的人机一致率。
最后，把验证结论绑定到实际使用的任务、评分规则、模型版本、提示词和计分设置。任何一项发生实质变化，都应评估原有证据还能覆盖多少。能交代“哪些回答可靠、哪些分歧仍需处理、结论只适用于哪里”，才有条件决定AI评分承担多大的工作；一个漂亮的平均数承担不了这些决定。